Demandez quelle part du web se trouve aujourd’hui derrière un bot wall et vous entendrez de grands chiffres. La plupart répondent à une question différente. Pour les équipes qui collectent des données web, la différence compte, car un site qui pourrait vous bloquer et un site qui vous bloque réellement ne posent pas le même problème.
Personne n’a réalisé de recensement, et personne ne le pourrait : la réponse dépend de la page, du client et du moment. Ce qui existe, c’est un ensemble de mesures prises sous différents angles. Mises bout à bout, elles donnent une réponse plus claire qu’un seul gros titre.
Trois questions différentes
| Question | Mesure | Population |
|---|---|---|
| Le site pourrait-il vous bloquer ? | 33,1% utilisent un reverse proxy surveillé, 28,5% Cloudflare | Tous les sites web (W3Techs, 5 Nov 2026) |
| 71% utilisent un CDN, un chiffre qui tombe à 35% | Top 1 000 et top 10 millions de sites (Web Almanac 2025) | |
| A-t-il installé une protection anti-bot ? | 31,1% sur mobile, plus de 34% sur desktop | Sites dans HTTP Archive (Web Almanac 2025) |
| 16,1% exécutant une gestion de bots que nous avons pu détecter | 653 pages d’accueil de sites majeurs (notre test) | |
| Bloque-t-il réellement ? | 6,8% à 15,2%, selon le navigateur | Top 10 000 pages d’accueil (Fév et Mar 2026) |
| 5,3% à 8,1%, sur huit crawlers | 1 902 pages d’atterrissage populaires (préprint de Nov 2026) | |
| 9,0% bloqués, 9,8% soumis à un challenge | 653 pages d’accueil de sites majeurs (notre test) |
Lus de haut en bas, les chiffres se réduisent. Environ un tiers des sites web pourrait défier un bot, mais seulement environ une page d’accueil populaire sur dix refuse l’accès à un client automatisé donné.
Ces populations sont différentes, elles ne forment donc pas un entonnoir net, et les chiffres des sites majeurs ne décrivent pas la longue traîne du web. Malgré cela, la tendance est cohérente d’une source à l’autre.
La capacité n’est pas l’application
L’erreur la plus courante consiste à lire la part de marché d’un CDN comme un taux de blocage. Une étude sur le top 10 000 des sites, publiée en juin 2026 et présentée à ARES 2026, en est le test le plus clair. Elle affirme qu’« héberger chez un fournisseur capable ne garantit pas une détection active », et elle a trouvé des blocages sur 37% des sites hébergés chez Cloudflare dans au moins une condition de test. Donc la plupart de ces sites n’ont bloqué aucun de ses navigateurs.
Notre propre test, mené en octobre 2026, va dans le même sens. Sur ces mêmes 653 pages d’accueil de sites majeurs, des cookies ou en-têtes de fournisseur ont révélé un fournisseur de protection anti-bot ou de sécurité en périphérie sur 36,9%, mais un produit actif de gestion de bots sur seulement 16,1%. Le chiffre de protection anti-bot d’HTTP Archive demande lui aussi de la prudence, car environ la moitié de cette catégorie correspond à reCAPTCHA, qui est souvent un widget sur un formulaire plutôt qu’un mur autour d’un site entier.
Ce qu’un test de page d’accueil ne capture pas
Ces taux de blocage sont probablement sous-estimés, pour trois raisons.
Les challenges peuvent arriver sous forme de 200. L’étude sur le top 10 000 n’a compté que les réponses 403, 429 et 503 comme des blocages, et le préprint de novembre n’a compté que les 403 et 429. Une page de challenge renvoyée avec un 200 n’est pas comptabilisée, donc l’interférence réelle est plus élevée. Notre test, lui, a bien compté les challenges, et ceux-ci ont ajouté à peu près autant que les blocages.
Le blocage augmente au-delà de la page d’accueil. Le préprint de novembre a montré que, parmi les sites ayant au moins six pages par crawler, le taux de refus de Chromium est passé de 0,2% sur les pages d’atterrissage à 10,4% sur les pages 2 à 6. D’autres clients ont augmenté moins fortement, et certains n’ont pas augmenté du tout. Un contrôle limité à la page d’accueil flatte un site qui ne réagit qu’au comportement.
Le client compte. L’étude sur le top 10 000 a trouvé un taux de blocage de 15% pour Chromium en mode headless, contre environ 7% pour les autres configurations. Dans notre test, passer d’un User-Agent Chrome à celui par défaut d’une bibliothèque a fait passer les blocages de 9,0% à 15,5%. Une identification honnête du bot et une configuration bâclée coûtent toutes deux l’accès.
Est-ce en augmentation ?
Probablement, même s’il n’existe pas de série simple. Le meilleur signal sur longue durée vient de Common Crawl, qui publie les résultats de récupération pour chaque crawl. Sa part de récupérations enregistrées comme refusées, qui inclut le robots.txt aussi bien que les 403, se présente ainsi :
| Crawl | Refusé | Réussi |
|---|---|---|
| Novembre 2019 | 3,07% | 76,94% |
| Décembre 2022 | 2,94% | 74,79% |
| Décembre 2025 | 5,80% | 63,90% |
| Octobre 2026 | 4,85% | 62,82% |
Common Crawl attribue la baisse récente du taux de réussite au fait que davantage de sites interdisent le crawl ou le refusent avec un 403, ainsi qu’à un mécanisme de backoff introduit en 2022, qui ignore davantage d’URL. La baisse n’est donc pas entièrement due au blocage. Ce sont des parts de ses récupérations et non de sites web, et elles reflètent un crawler qui s’identifie et respecte le robots.txt.
La pression sous-jacente est bien réelle. Le Bad Bot Report 2026 de Thales situe les bots à plus de 53% de tout le trafic en 2025, et Cloudflare a rapporté que les bots non liés à l’IA généraient 44% des requêtes HTML en date de décembre 2025. Chacun de ces chiffres provient du réseau propre d’un fournisseur, et les deux vendent des défenses anti-bot, mais cela explique pourquoi de plus en plus de propriétaires de sites activent ces outils.
Ce que cela signifie pour votre projet
- Ne planifiez pas à partir d’un gros titre. Ni « un tiers du web » ni « un sur dix » ne décrit vos cibles. Dans l’étude sur le top 10 000, le blocage était « déterminé par le fournisseur, pas par le rang », si bien que deux sites similaires peuvent se comporter très différemment.
- Testez votre propre liste. Notre outil de recherche de pile anti-bot montre à quel point une seule requête peut en révéler sur un site.
- Testez au-delà de la page d’accueil. Parcourez les pages dont vous avez réellement besoin, au rythme que vous allez vraiment utiliser.
- Vérifiez le contenu, pas le statut. Les échecs silencieux qui renvoient un 200 causent plus de dégâts que les blocages visibles.
- Corrigez d’abord votre client. Identifiez-vous correctement, maintenez un rythme raisonnable et gardez des sessions cohérentes.
Lorsqu’un site traite votre IP comme le problème, par exemple parce qu’elle provient d’une plage datacenter, les proxies résidentiels vous permettent de voir les pages publiques depuis une connexion grand public. Ils ne changent pas les règles d’un site, et un site qui a dit non à l’accès automatisé continue de le penser.
En résumé
La réponse honnête comporte trois volets. Environ un tiers des sites web pourrait défier un bot. Beaucoup moins le font activement, avec environ une page d’accueil populaire sur dix qui refuse l’accès à un client donné. Et le chiffre réel est plus élevé que tout taux de blocage publié, car les challenges et les pages plus profondes sont sous-comptabilisés. Pour la planification, cela signifie que la majeure partie du web reste accessible à un client bien élevé, que la difficulté est concentrée, et que le seul chiffre qui compte pour votre projet est celui que vous mesurez vous-même sur vos propres cibles.
Sources et références
- W3Techs, Cloudflare usage statistics (5 November 2026) : w3techs.com
- HTTP Archive, Web Almanac 2025, CDN chapter : almanac.httparchive.org
- HTTP Archive, Web Almanac 2025, Security chapter : almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research (June 2026) : arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls (preprint, November 2026) : arxiv.org/abs/2611.06197
- Common Crawl, crawler metrics : commoncrawl.github.io
- Thales, 2026 Bad Bot Report : cpl.thalesgroup.com
- Cloudflare Radar 2025 Year in Review : blog.cloudflare.com