Für den größten Teil der Geschichte des Web zahlte ein Crawler für Bandbreite und Rechenleistung, und der Inhalt selbst kostete nichts. Diese Annahme beginnt zu bröckeln. Websites können einem AI-Crawler nun mit einem Preis antworten, und Teams, die Webdaten für AI und maschinelles Lernen sammeln, müssen herausfinden, was das für ihre Budgets bedeutet.
Die Veränderung ist real, aber noch früh. Dieser Leitfaden behandelt, wie Crawler-Gebühren funktionieren, was sie zu den Kosten eines Crawls hinzufügen, und wie man für ein Web plant, in dem manche Seiten kostenlos, manche bepreist und manche geschlossen sind. Es handelt sich um allgemeine Informationen, keine Rechtsberatung.
Wie eine Crawler-Gebühr funktioniert
Die Idee nutzt einen alten Platzhalter. HTTP hat seit Jahrzehnten einen Status 402 Payment Required, und RFC 9110 besagt immer noch, dass er “für zukünftige Verwendung reserviert” ist. Cloudflare gab ihm im Juli 2025 mit Pay per Crawl eine Verwendung, was die Dokumentation des Unternehmens weiterhin als geschlossene Beta beschreibt.
Der Austausch ist einfach:
- Ein verifizierter AI-Crawler fordert eine Seite ohne Zahlungsbedingungen an und erhält einen 402 mit einem
crawler-price-Header. - Er versucht es erneut mit einem
crawler-exact-price-Header, um diesen Preis zu akzeptieren, oder sendet vorab einencrawler-max-price-Header, um anzugeben, was er zu zahlen bereit ist. - Er erhält die Seite mit einem 200 und wird abgerechnet. Cloudflare fungiert als Merchant of Record.
Für jeden Crawler kann ein Website-Betreiber berechnen, erlauben oder blockieren. Der Preis gilt standardmäßig für die gesamte Domain und kann überschrieben werden, mit einem Minimum von $0,001 pro Crawl.
Zwei Details sind wichtiger als der Preis. Erstens muss der Crawler beweisen, wer er ist: Cloudflare verlangt Web Bot Auth, das jede Anfrage mit dem eigenen Schlüssel des Crawlers mittels HTTP Message Signatures (RFC 9421) signiert. Eine IETF-Arbeitsgruppe standardisiert die Methode, und das Protokoll ist noch ein Entwurf. Zweitens beschreibt Cloudflare eine Berechnung bei einem Crawler ohne Abrechnungsbeziehung als “das funktionale Äquivalent einer Blockierung auf Netzwerkebene”. In der Praxis ist eine Gebühr eine Blockierung mit einem Preisschild.
Es ist mehr als eine Mautstelle
Cloudflare ist der sichtbarste Akteur, aber der Markt ist breiter und bewegt sich schnell.
- Lizenzbedingungen in robots.txt. Der RSL-Standard, der im September 2025 mit Unterstützern wie Reddit, Yahoo, People Inc., Ziff Davis, O’Reilly Media und Medium gestartet wurde, fügt robots.txt maschinenlesbare Lizenz- und Tantiemenbedingungen hinzu, mit Modellen einschließlich Pay-per-Crawl und Pay-per-Inference. Version 1.0 wurde im Dezember 2025 veröffentlicht.
- Paywalls am Netzwerkrand. Die Bot-Paywall von TollBit lässt sich in Fastly und Akamai integrieren, und Akamai arbeitet außerdem mit Skyfire an Zahlungstoken für Agenten.
- Marktplätze. Microsoft beschrieb im Februar 2026 einen Publisher-Content-Marktplatz, in dem “Publisher nach geliefertem Wert bezahlt werden”.
- Zahlung nach Nutzung. Im Juli 2026 erklärte Cloudflare, dass es Pay per Crawl zu Pay Per Use weiterentwickelt, sodass Publisher bezahlt werden, wenn Inhalte Wert schaffen, und nicht nur, wenn sie abgerufen werden. Die Preisgestaltung pro Anfrage ist möglicherweise nicht die endgültige Form.
Auch die Standardeinstellungen verändern sich. Seit September 2026 bietet Cloudflare neuen Domains eine von zwei Voreinstellungen an, je nachdem, ob die Website Geld mit Werbung verdient. Für werbefinanzierte Websites bedeutet das: Suche erlaubt, AI-Training nicht erlaubt und Agenten blockiert auf Seiten mit Werbung. Unser Leitfaden zu robots.txt, AI-Opt-outs und Reservierungssignalen behandelt, wie diese Signale zusammenpassen.
Warum Publisher das tun
Das Motiv ist der gebrochene Austausch von Crawling gegen Traffic. Cloudflares Zahlen vom Juli 2025 zeigen etwa 38.066 Crawls pro Verweis für Anthropic, 1.091 für OpenAI und 195 für Perplexity, obwohl das Unternehmen warnt, dass diese Berechnungen die Verhältnisse überzeichnen könnten. TollBit berichtete im ersten Halbjahr 2026 von 179 AI-Bot-Besuchen pro menschlichem Verweis auf europäischen Websites, gegenüber 53 in Nordamerika. Beide Unternehmen verkaufen diese Gebühren, daher sollte man ihre Zahlen mit dieser Einschränkung lesen, aber an der Richtung besteht kaum Zweifel.
Was eine Gebühr mit Ihren Kosten macht
Ohne Gebühren sind Bandbreite und Infrastruktur die wichtigsten variablen Kosten eines Crawls. Eine Gebühr fügt eine Belastung pro Seite hinzu, unabhängig vom Gewicht der Seite. Die folgende Tabelle geht von Seiten mit 1 MB und residenter Bandbreite zu $0,75 pro GB aus, unserem Full-Geo-Tarif. Die $0,001 sind Cloudflares Minimum; die $0,01 sind nur ein Beispiel, da kein unabhängiger Durchschnittspreis veröffentlicht wurde.
| Crawl | Bandbreite | Gebühr bei $0,001 | Gebühr bei $0,01 |
|---|---|---|---|
| 1.000 Seiten | $0,75 | $1 | $10 |
| 1 Million Seiten | $750 | $1.000 | $10.000 |
| 10.000 Seiten, täglich für 30 Tage | $225 | $300 | $3.000 |
Drei Dinge folgen daraus.
Die Gebühr kann alles andere überholen. Selbst beim Minimum ist sie größer als die Bandbreite für eine 1 MB große Seite. Bei $0,01 ist sie mehr als zehnmal so groß, und jede Einsparung bei der Bandbreite verändert die Gesamtsumme kaum.
Erneutes Crawlen wird teuer. Eine Gebühr wird pro Abruf berechnet, sodass Aktualität einen direkten Preis hat. Monitoring-Jobs, die unveränderte Seiten erneut abrufen, sind am stärksten betroffen. Sitemaps, bedingte Anfragen und Änderungserkennung werden zu Budgetinstrumenten, nicht nur zu Effizienzmaßnahmen.
Fehlgeschlagene Arbeit kostet mehr. Wenn ein Parser nach der Bezahlung der Seiten ausfällt, braucht man Rohkopien, oder man zahlt erneut. Speichern Sie, was Sie kaufen. Unser Beitrag zu Kosten pro sauberem Datensatz zeigt, wie man das in die Einheitswirtschaftlichkeit einbaut.
Wie man dafür plant
- Prüfen Sie Ihre Quellen. Protokollieren Sie, welche Domains in Ihrem Crawl 402er zurückgeben, RSL-Bedingungen tragen oder ihre robots.txt verschärft haben. TollBit berichtete, dass 30% der AI-Bot-Scrapes im Q4 2025 sich nicht an explizite robots.txt-Berechtigungen hielten, eine Zahl, die zeigt, wie umstritten die Signale sind. Entscheiden Sie Ihre eigene Richtlinie, statt den Durchschnitt zu kopieren.
- Deckeln Sie die Ausgaben pro Domain. Behandeln Sie den Preis als Crawl-Einstellung. Ein
crawler-max-price-Header oder ein gleichwertiges Budget verhindert, dass eine teure Website den gesamten Lauf verschlingt. - Bewerten Sie Quellen nach Wert. Fragen Sie, was jede Domain zum Datensatz beiträgt. Für die 20 relevanten Quellen zu zahlen, ist meist besser, als 2.000 oberflächlich zu crawlen.
- Vergleichen Sie eine Gebühr mit einer Lizenz. Bei größerem Volumen kann eine ausgehandelte Vereinbarung günstiger sein als Gebühren pro Anfrage und kann Rechte gewähren, die eine Gebühr nicht gewährt. Unser Leitfaden zu Datenzugriffsvereinbarungen behandelt, worauf zu achten ist. Fragen Sie, was eine Zahlung tatsächlich kauft: Eine Gebühr bezahlt für Zugang und sagt möglicherweise nichts über Trainingsrechte aus.
- Bauen Sie Identität ein. Signierte Anfragen von einem bekannten Crawler werden zur Eintrittskarte. Wenn Sie einen Crawler betreiben, der zahlen will, planen Sie für Schlüsselverwaltung und eine veröffentlichte Identität.
Wo Proxys passen, und wo nicht
Gebühren zielen auf Crawler, die sich ausweisen, und zahlender Traffic muss signiert sein. Ein Proxy ändert daran nichts. Ein Proxy ändert, woher eine Anfrage kommt, nicht, was man tun darf, also ändert eine andere IP nichts an den Bedingungen, wenn eine Website einen Preis festgelegt oder ihre Inhalte reserviert hat.
Residential Proxies bleiben für eine andere Aufgabe nützlich: öffentliche Seiten so zu sehen, wie lokale Nutzer sie sehen, über Märkte hinweg, für Arbeiten wie Preisüberwachung, Werbeverifizierung und QA. Diese Arbeit hängt nicht davon ab, den Preis von irgendjemandem zu umgehen, und sollte dieselben Signale respektieren.
Der rechtliche Hintergrund weist in dieselbe Richtung. Der Vorabveröffentlichungsbericht des US Copyright Office von 2025 besagte, dass die kommerzielle Nutzung riesiger Mengen urheberrechtlich geschützter Werke zur Erzeugung konkurrierender Inhalte über die etablierten Grenzen der Fair-Use-Doktrin hinausgeht, “besonders wenn dies durch illegalen Zugriff erreicht wird”. Wie Daten beschafft werden, ist ebenso wichtig wie das, was mit ihnen gemacht wird.
Fazit
Crawler-Gebühren stecken noch in den Anfängen: Das führende Produkt befindet sich in einer geschlossenen Beta, die Preise sind noch nicht gefestigt, und das Modell könnte sich von Zahlung pro Abruf zu Zahlung pro Nutzung verschieben. Doch die Richtung ist klar genug, um dafür zu planen. Protokollieren Sie, welche Quellen Bedingungen festlegen, deckeln Sie die Ausgaben pro Domain, bewahren Sie Rohkopien dessen auf, wofür Sie zahlen, und vergleichen Sie Gebühren mit Lizenzen bei größerem Volumen. Teams, die Inhalte jetzt als Kostenposten behandeln, werden nicht überrascht sein, wenn sie dazu werden.
Quellen und Verweise
- Cloudflare, Introducing pay per crawl (1. Juli 2025): blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl: developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price: developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1. Juli 2026): cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15. September 2026): blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29. August 2025): blog.cloudflare.com
- RFC 9110, HTTP Semantics: rfc-editor.org
- RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF Web Bot Auth working group: datatracker.ietf.org
- RSL standard, launch (10. September 2025) und 1.0 (10. Dezember 2025): rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3. Februar 2026): about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17. Juli 2025): fastly.com
- Akamai on monetizing AI bots at the edge (17. September 2025): akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 and H1 2026: tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9. Mai 2025): copyright.gov