Für viele Arbeiten mit Webdaten ist der günstigste Crawl derjenige, den schon jemand anderes durchgeführt hat. Common Crawl veröffentlicht monatlich kostenlos einen großen Ausschnitt des öffentlichen Webs, und er bildet die Grundlage für viele der Textdatensätze, die zum Training von KI-Modellen verwendet werden. Doch er wurde für Breite entwickelt, nicht für Ihre spezielle Liste von Quellen, und zu wissen, wo seine Grenzen liegen, erspart Teams Wochen an Arbeit.
Dieser Leitfaden behandelt, was Common Crawl enthält, was nicht, wie Sie prüfen können, ob er die benötigten Seiten abdeckt, und wann sich ein eigener Crawl lohnt.
Was Sie bekommen
Common Crawl ist eine US-amerikanische Non-Profit-Organisation, deren erklärtes Ziel es ist, Forschern, Unternehmen und Einzelpersonen kostenlos eine Kopie des Internets bereitzustellen. Die Fakten zum neuesten Crawl, CC-MAIN-2026-43, erfasst zwischen dem 5. und 18. Oktober 2026:
| Seiten | 2,16 Milliarden |
| Registrierte Domains | 34,3 Millionen |
| Hosts | 41,4 Millionen |
| URLs, die in keinem früheren Crawl erfasst wurden | 830,1 Millionen |
| Unkomprimierter Inhalt | 371,19 TiB |
| Taktung | Etwa ein Crawl pro Monat |
| Formate | WARC (Rohantworten), WAT (Metadaten), WET (Klartext) |
| Zugang | Öffentlicher AWS-Bucket in us-east-1, HTTPS-Downloads, URL-Indizes |
Die Sprachmischung ist breit, aber ungleich verteilt: Englisch machte in diesem Crawl 42,6% der erkannten HTML-Seiten aus, gefolgt von Russisch mit 6,3% und Deutsch mit 5,8%.
Was fehlt
Diese Grenzen stammen aus Common Crawls eigener Dokumentation, und sie bestimmen die meisten Entscheidungen zwischen Eigenbau und Weiterverwendung.
- Es ist eine Stichprobe. Common Crawl gibt an, dass in der Regel nicht eine ganze Website archiviert wird, sondern “eine zufällig ausgewählte Teilmenge davon”. Erwarten Sie nicht, dass jede Produktseite oder jeder Artikel enthalten ist.
- Kein JavaScript. Laut FAQ wird JavaScript nicht ausgeführt und Cookies werden nicht verwendet, sodass Inhalte fehlen, die erst nach dem Ausführen von Skripten erscheinen.
- Keine Logins oder Paywalls. Es wird angegeben, dass keine Paywalls umgangen und keine Logins auf Websites durchgeführt werden.
- Es respektiert Verweigerungen. CCBot prüft zuerst robots.txt und beachtet crawl-delay. Im Oktober-Crawl wurden 4,85% der Abrufe durch robots.txt oder einen 403er verweigert, und 18,47% wurden übersprungen. Unsere Analyse dazu, wie groß der Anteil des Webs hinter einer Bot-Sperre ist, ordnet diese Zahl ein.
- Ein Blickwinkel. Der Crawl erfolgt von einer kleinen, veröffentlichten Menge an Adressen aus, sodass Sie nur eine Ansicht jeder Seite erhalten. Seiten, die sich nach Land, Sprache oder Gerät unterscheiden, erscheinen nur in einer Version.
- Es ist eine Momentaufnahme. Eine Seite erscheint so, wie sie am Erfassungsdatum war, das Wochen zurückliegen kann.
Abdeckung vor der Entscheidung prüfen
Der schnellste Test besteht darin, den Index zu fragen, ob Ihre Quellen enthalten sind. Das folgende Skript findet den neuesten Crawl und fragt nach Erfassungen für ein URL-Muster. Es sendet, wie von Common Crawl gewünscht, jeweils eine Anfrage nach der anderen über Ihre eigene Verbindung; für Massenabfragen verwenden Sie stattdessen den Parquet-URL-Index auf AWS. Es läuft unter Python 3.9 und neuer mit requests.
from __future__ import annotations
import json
import requests
INDEX = "https://index.commoncrawl.org"
HEADERS = {"User-Agent": "coverage-check/1.0 (contact: data-team@example.com)"}
def latest_crawl():
"""The newest crawl ID, from Common Crawl's own list."""
return requests.get(f"{INDEX}/collinfo.json", headers=HEADERS, timeout=60).json()[0]["id"]
def captures(crawl, url_pattern, limit=1000):
"""Captures of matching URLs in one crawl. One request, no proxies: the index asks for that."""
r = requests.get(f"{INDEX}/{crawl}-index", headers=HEADERS, timeout=120,
params={"url": url_pattern, "output": "json", "limit": limit})
if r.status_code == 404: # no captures at all
return []
r.raise_for_status()
return [json.loads(line) for line in r.text.splitlines()]
if __name__ == "__main__":
crawl = latest_crawl()
rows = captures(crawl, "en.wikipedia.org/wiki/*")
statuses = {}
for row in rows:
statuses[row["status"]] = statuses.get(row["status"], 0) + 1
print(crawl, "captures returned:", len(rows), "by status:", dict(sorted(statuses.items())))
print("first:", rows[0]["url"], rows[0]["timestamp"]) if rows else print("none")Ausgabe vom 6. November 2026, für ein Muster auf der englischen Wikipedia, begrenzt auf 1.000 Ergebnisse:
CC-MAIN-2026-43 captures returned: 1000 by status: {'200': 949, '301': 15, '404': 30, '429': 6}
first: https://en.wikipedia.org/wiki/!!! 20261017084408Zwei Dinge fallen sofort auf. Die Abdeckung einer großen Website ist real, aber unvollständig, zählen Sie also nach, was Sie für Ihre eigenen Muster erhalten. Und Erfassungen tragen den Status, den Common Crawl erhalten hat: hier waren 30 404er und 6 429er, eine Erfassung ist also nicht immer Inhalt. Filtern Sie nach Status, bevor Sie irgendetwas verwenden.
Wann der kostenlose Crawl ausreicht
- Training und Forschung mit breitem Text. Sprachmodellierung, Klassifikatoren und Statistiken im Web-Maßstab brauchen eher Breite als eine bestimmte Seite. Das ist die Stärke von Common Crawl, und unser Leitfaden zum Aufbau von Trainingsdatensätzen aus dem offenen Web behandelt die Filterung und Deduplizierung, die dennoch nötig ist.
- Entdeckung. Herauszufinden, welche Domains ein Thema erwähnen, Links zu kartieren oder die Größe einer Website zu schätzen, ist mit dem URL-Index günstig.
- Historische Vergleiche. Monatliche Momentaufnahmen über mehrere Jahre hinweg sind selbst nur schwer nachzubilden.
Wann Sie einen eigenen Crawl brauchen
- Sie brauchen bestimmte Seiten, vollständig. Eine Stichprobe wird einige davon verfehlen, und Sie werden nicht wissen, welche.
- Sie brauchen Aktualität. Preise, Lagerbestände und Rankings ändern sich täglich. Eine monatliche Momentaufnahme ist Geschichte.
- Der Inhalt braucht JavaScript. Viele moderne Seiten rendern ihre Daten nur im Browser.
- Sie brauchen eine lokale Ansicht. Preise, Suchergebnisse und Anzeigen unterscheiden sich je nach Land. Ein Crawl von einem Blickwinkel liefert eine Antwort. Jeden Markt so zu erfassen, wie ihn die Besucher sehen, ist der Zweck von Residential Proxies.
- Sie müssen nachweisen, woher es stammt. Ein selbst durchgeführter Crawl ermöglicht es, genau festzuhalten, wie, wann und von wo jede Seite abgerufen wurde.
Viele Teams kombinieren beides: Common Crawl für Breite und Entdeckung, einen eigenen Crawler für die Quellen, auf die es am meisten ankommt.
Lesenswerte Nutzungsbedingungen
Common Crawl hält seine eigenen Nutzungsbedingungen schlank, aber sie sind wichtig. Die Nutzungsbedingungen besagen, dass die gecrawlten Inhalte den Bedingungen der Websites unterliegen können, von denen sie stammen, dass Nutzer sich verpflichten, Urheberrechte und andere Rechte zu respektieren, und es wird empfohlen, vor einer kommerziellen Nutzung rechtlichen Rat einzuholen. Der Nutzer übernimmt zudem die Haftung für Ansprüche, die aus der Nutzung der Inhalte zur Entwicklung, zum Training oder zum Einsatz von KI-Systemen entstehen. Seit 2025 veröffentlicht Common Crawl zudem ein Register rechtlicher Opt-out-Anfragen und entfernt betroffene URLs aus späteren Crawls und seinen Tools. Die Weiterverwendung der Daten löst diese Fragen nicht auf, führen Sie also Aufzeichnungen darüber, was Sie verwendet haben.
Fazit
Common Crawl ist der richtige Ausgangspunkt, wenn Sie Breite, Historie oder einen günstigen ersten Blick brauchen. Er reicht nicht mehr aus, wenn Sie bestimmte Seiten, aktuelle Daten, JavaScript-Inhalte oder eine lokale Ansicht benötigen. Prüfen Sie zunächst Ihre Abdeckung mit dem Index, filtern Sie Erfassungen nach Status, lesen Sie die Nutzungsbedingungen, und crawlen Sie selbst nur dort, wo die kostenlose Stichprobe nicht ausreicht.
Quellen und Referenzen
- Common Crawl, FAQ: commoncrawl.org/faq
- Common Crawl, Oktober-2026-Crawl-Archiv: commoncrawl.org
- Common Crawl, Nutzungsbedingungen (zuletzt aktualisiert am 7. März 2024): commoncrawl.org/terms-of-use
- Common Crawl, Erste Schritte: commoncrawl.org/get-started
- Common Crawl, URL-Index: commoncrawl.org/url-index
- Common-Crawl-Statistiken, Crawl-Größe, Sprachen und Crawler-Metriken: commoncrawl.github.io
- Common Crawl, Opt-out-Register (17. September 2025): commoncrawl.org
- Common Crawl, Setting the record straight (4. November 2025): commoncrawl.org