La plupart des données web concernent le présent : les prix d’aujourd’hui, les classements d’aujourd’hui, les pages d’aujourd’hui. Mais de nombreuses questions nécessitent le passé. Comment la page de tarification d’un concurrent a-t-elle évolué sur trois ans ? Quand une page de politique a-t-elle ajouté une clause ? À quoi ressemblait un site avant une refonte ? Pour les équipes qui collectent des données web, les archives web sont souvent le seul endroit où ces réponses existent encore.
La plus grande est la Wayback Machine de l’Internet Archive. Ce guide couvre ce qu’elle contient, comment l’interroger, où ses données sont limitées, et pourquoi l’accès devient plus difficile.
Ce que contient la Wayback Machine
Le 22 octobre 2025, l’Internet Archive a célébré « 1 trillion de pages web préservées », disponibles via la Wayback Machine. Une présentation de 2026 par son équipe d’infrastructure a fixé le rythme actuel à environ 800 millions de pages capturées par jour, avec plus de 210 pétaoctets de données uniques à travers toutes les collections de l’Archive.
Deux précisions sur ce nombre. Premièrement, une « page » ici est une capture, donc une URL populaire peut apparaître des milliers de fois. Deuxièmement, l’Archive ne publie pas le nombre d’URLs uniques qu’elle détient, donc le trillion en dit plus sur la profondeur de certaines pages que sur l’étendue à travers le web.
En comparaison, l’exploration d’août 2026 de Common Crawl contenait 2,14 milliards de pages, et est librement téléchargeable en masse. Les deux répondent à des questions différentes : Common Crawl est un large échantillon mensuel, et la Wayback Machine est un long historique d’URLs spécifiques. Notre guide sur Common Crawl explique quand ce type de jeu de données suffit.
Comment l’interroger
La Wayback Machine dispose de deux interfaces documentées pour un accès programmatique.
| Interface | Ce qu’elle retourne | Utile pour |
|---|---|---|
| CDX Server API | Une ligne par capture : clé URL, horodatage, URL originale, type MIME, code de statut, empreinte de contenu, longueur | Lister et filtrer les captures |
| Availability API | La capture unique la plus proche d’une date | Vérifier une URL à un moment donné |
L’API CDX fait l’essentiel du travail. Elle peut filtrer par code de statut ou type MIME, fusionner les doublons adjacents, et parcourir de grands résultats par pages ; sa documentation recommande la pagination pour les requêtes en masse. L’astuce qui fait gagner le plus de temps est la fusion sur l’empreinte de contenu, pour ne voir que les captures où la page a réellement changé.
import time
import requests
UA = "research-pipeline/1.0 (data-team@example.com)"
def captures(url, start="2020", end="2026"):
params = {
"url": url,
"output": "json",
"fl": "timestamp,original,statuscode,digest",
"filter": "statuscode:200",
"collapse": "digest", # keep only captures where the content changed
"from": start,
"to": end,
}
r = requests.get("https://web.archive.org/cdx/search/cdx",
params=params, headers={"User-Agent": UA}, timeout=60)
r.raise_for_status()
rows = r.json()
return [dict(zip(rows[0], row)) for row in rows[1:]]
def fetch(capture):
# id_ returns the archived bytes without the Wayback banner or rewritten links
url = f"https://web.archive.org/web/{capture['timestamp']}id_/{capture['original']}"
time.sleep(5) # one request at a time, with a pause
return requests.get(url, headers={"User-Agent": UA}, timeout=60)
for c in captures("example.com/pricing"):
print(c["timestamp"], c["digest"])Partez de la liste CDX, décidez des captures dont vous avez réellement besoin, et ne récupérez que celles-là. Une liste de 2 000 captures se réduit souvent à quelques dizaines de versions distinctes.
Où la couverture est limitée
Une archive ne contient que ce qu’elle a capturé, et la capture est inégale.
- Tout n’est pas archivé. Une étude portant sur des URLs issues de plusieurs sources a estimé qu’entre 35 % et 90 % du web avaient au moins une copie archivée, selon l’échantillon, et que pas plus de 31,3 % des URLs étaient archivées plus d’une fois par mois.
- Le web continue de disparaître. Pew Research a constaté en 2024 que 38 % des pages qui existaient en 2013 n’étaient plus accessibles sur le web en direct. Pour beaucoup d’entre elles, une copie d’archive est tout ce qu’il reste, s’il y en a une.
- La couverture varie selon le pays. Des recherches ont depuis longtemps montré que la couverture des archives diffère selon le pays et la langue, et les archives web nationales couvrent souvent mieux leurs propres domaines.
- JavaScript cache du contenu. Une étude sur les pages archivées a révélé que JavaScript était responsable de 52,7 % des ressources intégrées manquantes. Les applications à page unique, les prix chargés par script, et le contenu derrière des murs de consentement sont souvent manquants ou vides.
Donc l’absence dans l’archive n’est pas une preuve que quelque chose n’a jamais existé. Traitez la couverture de l’archive comme un échantillon, et consignez les lacunes d’échantillonnage avec les données.
Où la qualité est limitée
Même une capture qui existe peut ne pas montrer ce qu’un visiteur a vu.
Décalage temporel au sein d’une même page. Le HTML, les images, les scripts et les feuilles de style d’une page sont souvent capturés à des moments différents. Une étude portant sur 82 425 pages archivées à travers 15 archives a trouvé que seulement 38,7 % étaient cohérentes dans le temps, et qu’environ une sur cinq, 17,9 %, était à la fois cohérente et complète.
Captures hors sujet. L’historique d’une URL peut inclure des domaines parqués, des pages d’erreur et du contenu détourné. Une étude a trouvé des pages hors sujet dans 24 % des historiques de capture qu’elle a échantillonnés.
Erreurs silencieuses. Une capture avec le statut 200 peut quand même être une page de blocage, un mur de consentement ou un faux 404 silencieux. Les mêmes vérifications que nous recommandons pour les échecs silencieux dans le scraping en direct s’appliquent ici : validez le contenu, pas seulement le code de statut.
Pour l’analyse, cela signifie comparer le texte et les champs structurés entre versions, pas des captures d’écran, et conserver l’horodatage de capture avec chaque valeur extraite. Notre guide sur la détection de changement explique comment comparer des versions sans se noyer dans le bruit.
Pourquoi l’accès devient plus difficile
Deux pressions réduisent ce que les archives peuvent offrir.
Les sites gardent l’archive à l’écart. En août 2025, Reddit a commencé à limiter l’accès de la Wayback Machine, affirmant que des entreprises d’IA avaient scrapé ses données depuis l’archive. En janvier 2026, Nieman Lab a trouvé que 241 des 1 167 sites d’actualités à travers neuf pays interdisaient au moins l’un des robots d’exploration de l’Internet Archive. Le New York Times a déclaré : « We are blocking the Internet Archive’s bot from accessing the Times. » La FAQ de l’Archive elle-même note que les éditeurs n’ont pas pu désigner une entreprise d’IA en particulier qui scraperait via elle, mais les lacunes de couverture sont réelles dans tous les cas.
L’Archive se défend. En septembre 2026, l’Internet Archive a déclaré que la Wayback Machine avait été « frappée par des vagues de trafic automatisé à haut volume », qu’elle avait mis en place des protections, et que les requêtes bloquées reçoivent une erreur 429. Sa FAQ indique : « We use rate limiting, filtering, and monitoring to prevent abusive access », et « The Wayback Machine is built for human readers. »
L’Archive est une bibliothèque à but non lucratif, et elle a déjà été mise hors ligne par du trafic en masse. Les gros utilisateurs sont la raison pour laquelle ces protections existent.
Comment bien utiliser les archives
- Interrogez l’index, pas les pages. Utilisez l’API CDX pour trouver les captures dont vous avez besoin, fusionnez par empreinte, et ne récupérez que le minimum.
- Allez lentement et identifiez-vous. Une requête à la fois, avec des pauses, et un User-Agent descriptif. Pour les grands projets, contactez d’abord l’Archive.
- Vérifiez d’autres archives. Les bibliothèques nationales et d’autres archives, accessibles via la norme Memento, peuvent combler des lacunes.
- Consignez la provenance. Conservez l’horodatage de capture, l’URL originale et l’empreinte avec chaque valeur, comme le décrit notre guide sur la provenance dans le pipeline d’entraînement de l’IA.
- Signalez les lacunes. Indiquez combien d’URLs n’avaient aucune capture, ou aucune utilisable, afin que les lecteurs puissent juger du résultat.
Où les proxies ont leur place, et où ils n’en ont pas
N’utilisez pas de proxies pour contourner les limites de la Wayback Machine. C’est une bibliothèque avec une mission publique, ses protections existent à cause du trafic automatisé en masse, et faire tourner des IP pour éviter une erreur 429 est exactement le comportement contre lequel elle se défend. Si votre projet a besoin de plus qu’un accès poli ne le permet, demandez à l’Archive.
Les proxies résidentiels servent à une tâche différente : collecter le web en direct tel que les visiteurs locaux le voient aujourd’hui. De nombreux jeux de données historiques commencent là. Si vous capturez maintenant les pages qui vous intéressent, depuis les marchés qui vous intéressent, vous ne dépendrez pas plus tard de l’archive de quelqu’un d’autre.
En résumé
La Wayback Machine est le registre le plus profond du passé du web, et l’API CDX la rend pratique à utiliser. Mais sa couverture est un échantillon, ses captures peuvent mélanger des moments dans le temps, et de plus en plus de sites la tiennent à l’écart. Interrogez l’index, récupérez peu, validez ce que vous obtenez, consignez d’où vient chaque valeur, et traitez l’archive comme la ressource publique partagée qu’elle est.
Sources et références
- Internet Archive, un trillion de pages web archivées (22 octobre 2025) : blog.archive.org
- Jonah Edwards, mise à jour sur les matériaux de l’Internet Archive, réunion Designing Storage Architectures (2026) : digitalpreservation.gov
- Documentation de l’API Wayback CDX Server : github.com
- APIs de la Wayback Machine : archive.org
- RFC 7089, HTTP Framework for Time-Based Access to Resource States (Memento) : rfc-editor.org
- Common Crawl, archive de l’exploration d’août 2026 : commoncrawl.org
- Ainsworth et al., How much of the web is archived? : arxiv.org
- Pew Research Center, When online content disappears (17 mai 2024) : pewresearch.org
- AlSum et al., profiling web archive coverage : arxiv.org
- Brunelle et al., the impact of JavaScript on archivability (2016) : doi.org
- Ainsworth, Nelson et Van de Sompel, temporal coherence of archived pages (2015) : ws-dl.blogspot.com
- AlNoamany, Weigle et Nelson, detecting off-topic pages in web archives (2016) : doi.org
- Nieman Lab, News publishers limit Internet Archive access (28 janvier 2026) : niemanlab.org
- Engadget, Reddit restricts the Wayback Machine (août 2025) : engadget.com
- Internet Archive, An update on Wayback Machine access (15 septembre 2026) : blog.archive.org
- Internet Archive, FAQ on publishers blocking the Wayback Machine : help.archive.org