Fragt man, wie viel des Webs mittlerweile hinter einer Bot-Mauer sitzt, bekommt man große Zahlen zu hören. Die meisten davon beantworten eine andere Frage. Für Teams, die Webdaten sammeln, ist der Unterschied wichtig, denn eine Website, die Sie blockieren könnte, und eine Website, die Sie tatsächlich blockiert, sind nicht dasselbe Problem.
Niemand hat eine Vollerhebung durchgeführt, und das könnte auch niemand: Die Antwort hängt von der Seite, dem Client und dem Moment ab. Was existiert, ist eine Reihe von Messungen aus unterschiedlichen Blickwinkeln. Zusammengenommen ergeben sie ein klareres Bild als jede einzelne Schlagzeile.
Drei verschiedene Fragen
| Frage | Messwert | Population |
|---|---|---|
| Könnte die Website Sie blockieren? | 33,1% nutzen einen überwachten Reverse-Proxy, 28,5% Cloudflare | Alle Websites (W3Techs, 5. Nov. 2026) |
| 71% nutzen ein CDN, sinkend auf 35% | Top 1.000 und Top 10 Millionen Websites (Web Almanac 2025) | |
| Hat sie Bot-Schutz installiert? | 31,1% auf Mobilgeräten, über 34% auf Desktop | Websites im HTTP Archive (Web Almanac 2025) |
| 16,1% mit erkennbarem Bot-Management | 653 Top-Site-Startseiten (unser Test) | |
| Blockiert sie tatsächlich? | 6,8% bis 15,2%, je nach Browser | Top 10.000 Startseiten (Feb. und März 2026) |
| 5,3% bis 8,1%, über acht Crawler hinweg | 1.902 beliebte Landingpages (Preprint, Nov. 2026) | |
| 9,0% blockiert, 9,8% herausgefordert | 653 Top-Site-Startseiten (unser Test) |
Liest man die Zahlen von oben nach unten, schrumpfen sie. Etwa ein Drittel der Websites könnte einen Bot herausfordern, aber nur etwa jede zehnte beliebte Startseite weist einen bestimmten automatisierten Client tatsächlich ab.
Diese Populationen sind unterschiedlich, sie bilden also keinen sauberen Trichter, und die Top-Site-Zahlen beschreiben nicht den Long Tail des Webs. Dennoch ist die Richtung in jeder Quelle konsistent.
Fähigkeit ist nicht Durchsetzung
Der häufigste Fehler besteht darin, den Marktanteil eines CDN als Blockrate zu lesen. Eine Studie zu den Top 10.000 Websites, veröffentlicht im Juni 2026 und auf der ARES 2026 vorgestellt, ist der klarste Beleg dafür. Sie stellt fest: “Hosting bei einem fähigen Anbieter garantiert keine aktive Erkennung”, und sie fand Blockaden bei 37% der bei Cloudflare gehosteten Websites in mindestens einer Testbedingung. Die meisten dieser Websites blockierten also keinen ihrer Browser.
Unser eigener Test vom Oktober 2026 deutet in dieselbe Richtung. Bei denselben 653 Top-Site-Startseiten zeigten Vendor-Cookies oder Header bei 36,9% einen Bot-Schutz- oder Edge-Security-Anbieter, aber ein aktives Bot-Management-Produkt nur bei 16,1%. Auch die Bot-Protection-Zahl aus dem HTTP Archive erfordert Vorsicht, da etwa die Hälfte dieser Kategorie auf reCAPTCHA entfällt, das oft ein Widget in einem Formular ist und keine Mauer um die gesamte Website.
Was ein Startseiten-Test übersieht
Diese Blockraten sind wahrscheinlich zu niedrig, aus drei Gründen.
Herausforderungen können als 200 ankommen. Die Studie zu den Top 10.000 zählte nur Antworten mit 403, 429 und 503 als Blockaden, und das Preprint vom November zählte 403 und 429. Eine Challenge-Seite, die mit einem 200 zurückgegeben wird, wird nicht erfasst, die tatsächliche Behinderung ist also höher. Unser Test zählte Challenges mit, und sie kamen noch einmal etwa so viel hinzu wie die Blockaden.
Blockierung nimmt über die Startseite hinaus zu. Das November-Preprint fand, dass bei Websites mit mindestens sechs Seiten pro Crawler die Ablehnungsrate von Chromium von 0,2% auf Landingpages auf 10,4% auf den Seiten 2 bis 6 anstieg. Andere Clients stiegen weniger stark, manche gar nicht. Ein Startseiten-Check schmeichelt einer Website, die erst auf Verhalten reagiert.
Der Client spielt eine Rolle. Die Studie zu den Top 10.000 fand eine Blockrate von 15% für Headless-Chromium gegenüber etwa 7% bei den anderen Konfigurationen. In unserem Test erhöhte der Wechsel von einem Chrome-User-Agent zum Standard einer Bibliothek die Blockaden von 9,0% auf 15,5%. Sowohl ehrliche Bot-Identifikation als auch nachlässige Konfiguration kosten Zugang.
Nimmt es zu?
Wahrscheinlich, auch wenn es keine einfache Zeitreihe gibt. Das beste Langzeitsignal liefert Common Crawl, das für jeden Crawl Fetch-Ergebnisse veröffentlicht. Der Anteil der als verweigert verzeichneten Fetches, der sowohl robots.txt als auch 403er einschließt, sieht so aus:
| Crawl | Verweigert | Erfolgreich |
|---|---|---|
| November 2019 | 3,07% | 76,94% |
| Dezember 2022 | 2,94% | 74,79% |
| Dezember 2025 | 5,80% | 63,90% |
| Oktober 2026 | 4,85% | 62,82% |
Common Crawl führt den jüngsten Rückgang der Erfolgsquote darauf zurück, dass mehr Websites das Crawling per robots.txt untersagen oder mit einem 403 verweigern, sowie auf ein 2022 eingeführtes Backoff-Verfahren, das mehr URLs überspringt. Der Rückgang ist also nicht ausschließlich auf Blockierung zurückzuführen. Dies sind Anteile an den eigenen Fetches und nicht an Websites, und sie spiegeln einen Crawler wider, der sich identifiziert und robots.txt respektiert.
Der Druck dahinter ist real. Der 2026 Bad Bot Report von Thales beziffert Bots auf über 53% des gesamten Traffics im Jahr 2025, und Cloudflare berichtete, dass Nicht-KI-Bots mit Stand Dezember 2025 44% der HTML-Anfragen erzeugten. Beide Zahlen stammen aus dem jeweils eigenen Netzwerk eines Anbieters, und beide verkaufen Bot-Abwehrlösungen, aber sie erklären, warum immer mehr Website-Betreiber diese Werkzeuge aktivieren.
Was das für Ihr Projekt bedeutet
- Planen Sie nicht anhand einer Schlagzeile. Weder “ein Drittel des Webs” noch “jede zehnte” beschreibt Ihre Ziele. In der Studie zu den Top 10.000 war die Blockierung “anbietergetrieben, nicht ranggetrieben”, sodass sich zwei ähnliche Websites sehr unterschiedlich verhalten können.
- Testen Sie Ihre eigene Liste. Unser Anti-Bot-Stack-Lookup zeigt, wie viel eine einzelne Anfrage über eine Website verraten kann.
- Testen Sie über die Startseite hinaus. Durchlaufen Sie die Seiten, die Sie tatsächlich brauchen, im Tempo, das Sie wirklich fahren werden.
- Prüfen Sie den Inhalt, nicht nur den Status. Stille Fehler, die einen 200 zurückgeben, richten mehr Schaden an als sichtbare Blockaden.
- Beheben Sie zuerst Ihren Client. Identifizieren Sie sich korrekt, bleiben Sie bei einer vernünftigen Rate und halten Sie Sessions konsistent.
Wenn eine Website Ihre IP als das Problem behandelt, etwa weil sie aus einem Datacenter-Bereich stammt, ermöglichen Ihnen Residential Proxies, öffentliche Seiten über eine Verbraucherverbindung zu sehen. Sie ändern nicht die Regeln einer Website, und eine Website, die automatisiertem Zugriff eine Absage erteilt hat, meint das weiterhin so.
Das Fazit
Die ehrliche Antwort hat drei Teile. Etwa ein Drittel der Websites könnte einen Bot herausfordern. Weit weniger tun es aktiv, wobei etwa jede zehnte beliebte Startseite einen bestimmten Client abweist. Und die tatsächliche Zahl liegt höher als jede veröffentlichte Blockrate, weil Challenges und tiefer liegende Seiten unterzählt werden. Für die Planung bedeutet das: Der Großteil des Webs steht einem gut verhaltenden Client weiterhin offen, der schwierige Teil konzentriert sich an bestimmten Stellen, und die einzige Zahl, die für Ihr Projekt zählt, ist die, die Sie an Ihren eigenen Zielen selbst messen.
Quellen und Referenzen
- W3Techs, Cloudflare-Nutzungsstatistik (5. November 2026): w3techs.com
- HTTP Archive, Web Almanac 2025, Kapitel CDN: almanac.httparchive.org
- HTTP Archive, Web Almanac 2025, Kapitel Security: almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research (Juni 2026): arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls (Preprint, November 2026): arxiv.org/abs/2611.06197
- Common Crawl, Crawler-Metriken: commoncrawl.github.io
- Thales, 2026 Bad Bot Report: cpl.thalesgroup.com
- Cloudflare Radar 2025 Year in Review: blog.cloudflare.com