Die meisten Webdaten beziehen sich auf die Gegenwart: heutige Preise, heutige Rankings, heutige Seiten. Doch viele Fragen erfordern einen Blick in die Vergangenheit. Wie hat sich die Preisseite eines Wettbewerbers über drei Jahre verändert? Wann wurde einer Richtlinienseite eine Klausel hinzugefügt? Wie sah eine Website vor einem Redesign aus? Für Teams, die Webdaten sammeln, sind Webarchive oft der einzige Ort, an dem diese Antworten noch existieren.
Das größte davon ist die Wayback Machine des Internet Archive. Dieser Leitfaden behandelt, was sie enthält, wie man sie abfragt, wo ihre Daten zu kurz greifen und warum der Zugriff schwieriger wird.
Was die Wayback Machine enthält
Am 22. Oktober 2025 feierte das Internet Archive “1 Billion archivierte Webseiten”, verfügbar über die Wayback Machine. Eine Präsentation seines Infrastrukturteams aus dem Jahr 2026 bezifferte das aktuelle Tempo auf etwa 800 Millionen erfasste Seiten pro Tag, bei mehr als 210 Petabyte an einzigartigen Daten über alle Sammlungen des Archives hinweg.
Zwei Anmerkungen zu dieser Zahl. Erstens ist eine “Seite” hier eine Erfassung, sodass eine populäre URL Tausende Male erscheinen kann. Zweitens veröffentlicht das Archive nicht, wie viele eindeutige URLs es enthält, sodass die Billion mehr über die Tiefe bei manchen Seiten aussagt als über die Breite über das Web hinweg.
Zum Vergleich: Der August-2026-Crawl von Common Crawl enthielt 2,14 Milliarden Seiten und ist frei und in großen Mengen herunterladbar. Die beiden beantworten unterschiedliche Fragen: Common Crawl ist eine breite monatliche Stichprobe, und die Wayback Machine ist eine lange Historie bestimmter URLs. Unser Leitfaden zu Common Crawl behandelt, wann diese Art von Datensatz ausreicht.
Wie man sie abfragt
Die Wayback Machine verfügt über zwei dokumentierte Schnittstellen für den programmatischen Zugriff.
| Schnittstelle | Was sie zurückgibt | Gut geeignet für |
|---|---|---|
| CDX Server API | Eine Zeile pro Erfassung: URL-Schlüssel, Zeitstempel, Original-URL, MIME-Typ, Statuscode, Content-Digest, Länge | Auflisten und Filtern von Erfassungen |
| Availability API | Die einzige dem Datum am nächsten liegende Erfassung | Prüfung einer URL zu einem Zeitpunkt |
Die CDX API erledigt den Großteil der Arbeit. Sie kann nach Statuscode oder MIME-Typ filtern, benachbarte Duplikate zusammenfassen und durch große Ergebnismengen blättern; ihre Dokumentation empfiehlt Paginierung für Massenabfragen. Der Trick, der den meisten Aufwand spart, ist das Zusammenfassen über den Content-Digest, sodass nur Erfassungen angezeigt werden, bei denen sich der Inhalt tatsächlich geändert hat.
import time
import requests
UA = "research-pipeline/1.0 (data-team@example.com)"
def captures(url, start="2020", end="2026"):
params = {
"url": url,
"output": "json",
"fl": "timestamp,original,statuscode,digest",
"filter": "statuscode:200",
"collapse": "digest", # keep only captures where the content changed
"from": start,
"to": end,
}
r = requests.get("https://web.archive.org/cdx/search/cdx",
params=params, headers={"User-Agent": UA}, timeout=60)
r.raise_for_status()
rows = r.json()
return [dict(zip(rows[0], row)) for row in rows[1:]]
def fetch(capture):
# id_ returns the archived bytes without the Wayback banner or rewritten links
url = f"https://web.archive.org/web/{capture['timestamp']}id_/{capture['original']}"
time.sleep(5) # one request at a time, with a pause
return requests.get(url, headers={"User-Agent": UA}, timeout=60)
for c in captures("example.com/pricing"):
print(c["timestamp"], c["digest"])Beginnen Sie mit der CDX-Liste, entscheiden Sie, welche Erfassungen Sie tatsächlich benötigen, und holen Sie nur diese ab. Eine Liste von 2.000 Erfassungen reduziert sich oft auf wenige Dutzend unterschiedliche Versionen.
Wo die Abdeckung zu kurz greift
Ein Archiv enthält nur, was erfasst wurde, und die Erfassung ist ungleichmäßig.
- Nicht alles wird archiviert. Eine Studie zu URLs aus mehreren Quellen schätzte, dass zwischen 35 % und 90 % des Webs je nach Stichprobe mindestens eine archivierte Kopie hatten und dass nicht mehr als 31,3 % der URLs öfter als einmal im Monat archiviert wurden.
- Das Web verschwindet weiterhin. Pew Research stellte 2024 fest, dass 38 % der Seiten, die 2013 existierten, im lebenden Web nicht mehr zugänglich waren. Für viele davon ist eine Archivkopie alles, was übrig bleibt, sofern es eine gibt.
- Die Abdeckung variiert je nach Land. Die Forschung hat seit Langem festgestellt, dass die Archivabdeckung je nach Land und Sprache unterschiedlich ist, und nationale Webarchive decken ihre eigenen Domains oft besser ab.
- JavaScript verbirgt Inhalte. Eine Studie zu archivierten Seiten ergab, dass JavaScript für 52,7 % der fehlenden eingebetteten Ressourcen verantwortlich war. Single-Page-Apps, per Skript geladene Preise und Inhalte hinter Zustimmungsmauern fehlen oder sind leer.
Das Fehlen im Archiv ist also kein Beweis dafür, dass etwas nie existiert hat. Behandeln Sie die Archivabdeckung als Stichprobe und protokollieren Sie die Erfassungslücken zusammen mit den Daten.
Wo die Qualität zu kurz greift
Selbst eine vorhandene Erfassung zeigt möglicherweise nicht das, was ein Besucher gesehen hat.
Zeitliche Verschiebung innerhalb einer Seite. Das HTML, die Bilder, Skripte und Stylesheets einer Seite werden oft zu unterschiedlichen Zeitpunkten erfasst. Eine Studie zu 82.425 archivierten Seiten über 15 Archive hinweg ergab, dass nur 38,7 % zeitlich konsistent waren, und nur etwa jede fünfte, 17,9 %, sowohl konsistent als auch vollständig war.
Themenfremde Erfassungen. Die Historie einer URL kann geparkte Domains, Fehlerseiten und gekaperte Inhalte enthalten. Eine Studie fand themenfremde Seiten in 24 % der untersuchten Erfassungshistorien.
Stille Fehler. Eine Erfassung mit Status 200 kann trotzdem eine Blockseite, eine Zustimmungsmauer oder ein weicher 404 sein. Dieselben Prüfungen, die wir für stille Fehler beim Live-Scraping empfehlen, gelten auch hier: Validieren Sie den Inhalt, nicht nur den Statuscode.
Für die Analyse bedeutet das, Text und strukturierte Felder über Versionen hinweg zu vergleichen, nicht Screenshots, und den Erfassungszeitstempel bei jedem extrahierten Wert zu behalten. Unser Leitfaden zur Änderungserkennung behandelt das Vergleichen von Versionen, ohne im Rauschen unterzugehen.
Warum der Zugriff schwieriger wird
Zwei Belastungen schränken ein, was Archive bieten können.
Websites halten das Archiv fern. Im August 2025 begann Reddit, den Zugriff der Wayback Machine einzuschränken, mit der Begründung, KI-Unternehmen hätten dessen Daten über das Archiv gescrapt. Bis Januar 2026 stellte Nieman Lab fest, dass 241 von 1.167 Nachrichtenseiten aus neun Ländern mindestens einen der Crawler des Internet Archive ausschlossen. Die New York Times erklärte: “We are blocking the Internet Archive’s bot from accessing the Times.” Die eigene FAQ des Archives merkt an, dass Verlage kein bestimmtes KI-Unternehmen benennen konnten, das darüber scrapt, aber die Lücken in der Abdeckung sind so oder so real.
Das Archive verteidigt sich. Im September 2026 teilte das Internet Archive mit, die Wayback Machine sei “von Wellen hochvolumigen automatisierten Datenverkehrs getroffen” worden, man habe Schutzmaßnahmen eingeführt, und blockierte Anfragen erhielten einen 429-Fehler. In seiner FAQ heißt es: “We use rate limiting, filtering, and monitoring to prevent abusive access”, und “The Wayback Machine is built for human readers.”
Das Archive ist eine gemeinnützige Bibliothek und wurde schon früher durch Massendatenverkehr offline gezwungen. Intensive Nutzer sind der Grund, warum diese Schutzmaßnahmen existieren.
Wie man Archive gut nutzt
- Fragen Sie den Index ab, nicht die Seiten. Nutzen Sie die CDX API, um die benötigten Erfassungen zu finden, fassen Sie nach Digest zusammen und holen Sie nur das Minimum ab.
- Gehen Sie langsam vor und identifizieren Sie sich. Eine Anfrage nach der anderen, mit Pausen, und einem aussagekräftigen User-Agent. Bei großen Projekten kontaktieren Sie das Archive vorab.
- Prüfen Sie andere Archive. Nationalbibliotheken und andere Archive, erreichbar über den Memento-Standard, können Lücken füllen.
- Halten Sie die Herkunft fest. Bewahren Sie den Erfassungszeitstempel, die Original-URL und den Digest bei jedem Wert auf, wie es unser Leitfaden zur Herkunft in der KI-Trainings-Pipeline beschreibt.
- Melden Sie Lücken. Geben Sie an, wie viele URLs keine Erfassungen oder keine nutzbaren hatten, damit Leser das Ergebnis beurteilen können.
Wo Proxys passen und wo nicht
Nutzen Sie keine Proxys, um die Grenzen der Wayback Machine zu umgehen. Es handelt sich um eine Bibliothek mit öffentlichem Auftrag, ihre Schutzmaßnahmen existieren wegen massenhaften automatisierten Datenverkehrs, und das Rotieren von IPs, um einen 429-Fehler zu umgehen, ist genau das Verhalten, gegen das sie sich verteidigt. Wenn Ihr Projekt mehr benötigt, als höflicher Zugriff erlaubt, fragen Sie das Archive.
Residential Proxies sind für eine andere Aufgabe gedacht: das Sammeln des lebenden Webs so, wie es lokale Besucher heute sehen. Viele historische Datensätze beginnen dort. Wenn Sie die Seiten, die Sie interessieren, jetzt erfassen, aus den Märkten, die Sie interessieren, sind Sie später nicht auf das Archiv eines anderen angewiesen.
Fazit
Die Wayback Machine ist die tiefste Aufzeichnung der Vergangenheit des Webs, und die CDX API macht ihre Nutzung praktikabel. Doch ihre Abdeckung ist eine Stichprobe, ihre Erfassungen können Momente vermischen, und immer mehr Websites halten sie fern. Fragen Sie den Index ab, holen Sie wenig ab, validieren Sie, was Sie erhalten, protokollieren Sie, woher jeder Wert stammt, und behandeln Sie das Archiv als die gemeinsame öffentliche Ressource, die es ist.
Quellen und Referenzen
- Internet Archive, eine Billion archivierte Webseiten (22. Oktober 2025): blog.archive.org
- Jonah Edwards, Internet Archive materials update, Designing Storage Architectures meeting (2026): digitalpreservation.gov
- Wayback CDX Server API documentation: github.com
- Wayback Machine APIs: archive.org
- RFC 7089, HTTP Framework for Time-Based Access to Resource States (Memento): rfc-editor.org
- Common Crawl, August 2026 crawl archive: commoncrawl.org
- Ainsworth et al., How much of the web is archived?: arxiv.org
- Pew Research Center, When online content disappears (17. Mai 2024): pewresearch.org
- AlSum et al., profiling web archive coverage: arxiv.org
- Brunelle et al., the impact of JavaScript on archivability (2016): doi.org
- Ainsworth, Nelson und Van de Sompel, temporal coherence of archived pages (2015): ws-dl.blogspot.com
- AlNoamany, Weigle und Nelson, detecting off-topic pages in web archives (2016): doi.org
- Nieman Lab, News publishers limit Internet Archive access (28. Januar 2026): niemanlab.org
- Engadget, Reddit restricts the Wayback Machine (August 2025): engadget.com
- Internet Archive, An update on Wayback Machine access (15. September 2026): blog.archive.org
- Internet Archive, FAQ on publishers blocking the Wayback Machine: help.archive.org