Pergunte quanto da web hoje está atrás de um bot wall e você vai ouvir números grandes. A maioria deles responde a uma pergunta diferente. Para equipes que coletam dados da web, a diferença importa, porque um site que poderia bloquear você e um site que de fato bloqueia você não são o mesmo problema.
Ninguém fez um censo, e ninguém poderia fazer: a resposta depende da página, do cliente e do momento. O que existe é um conjunto de medições de ângulos diferentes. Juntas, elas dão uma resposta mais clara do que qualquer manchete isolada.
Três perguntas diferentes
| Pergunta | Medida | População |
|---|---|---|
| O site poderia bloquear você? | 33,1% usam um reverse proxy monitorado, 28,5% Cloudflare | Todos os websites (W3Techs, 5 de nov. de 2026) |
| 71% usam uma CDN, caindo para 35% | Top 1.000 e top 10 milhões de sites (Web Almanac 2025) | |
| Ele instalou proteção contra bots? | 31,1% no mobile, mais de 34% no desktop | Sites no HTTP Archive (Web Almanac 2025) |
| 16,1% rodando gerenciamento de bots que conseguimos detectar | 653 homepages de sites top (nosso teste) | |
| Ele de fato bloqueia? | 6,8% a 15,2%, por navegador | Top 10.000 homepages (fev. e mar. de 2026) |
| 5,3% a 8,1%, em oito crawlers | 1.902 landing pages populares (preprint de nov. de 2026) | |
| 9,0% bloqueados, 9,8% desafiados | 653 homepages de sites top (nosso teste) |
Lidos de cima para baixo, os números encolhem. Cerca de um terço dos websites poderia desafiar um bot, mas apenas cerca de um em cada dez homepages populares recusa um determinado cliente automatizado.
Essas populações são diferentes, então não formam um funil organizado, e os números dos sites top não descrevem a cauda longa da web. Ainda assim, a direção é consistente em todas as fontes.
Capacidade não é aplicação
O erro mais comum é ler a participação de mercado de uma CDN como uma taxa de bloqueio. Um estudo dos top 10.000 sites, publicado em junho de 2026 e apresentado na ARES 2026, é o teste mais claro disso. Ele diz que “hospedar em um provedor capaz não garante detecção ativa”, e encontrou bloqueios em 37% dos sites hospedados na Cloudflare em pelo menos uma condição de teste. Ou seja, a maioria desses sites não bloqueou nenhum de seus navegadores.
Nosso próprio teste em outubro de 2026 aponta na mesma direção. Nas mesmas 653 homepages de sites top, cookies ou headers de fornecedores mostraram um fornecedor de proteção contra bots ou segurança de borda em 36,9%, mas um produto ativo de gerenciamento de bots em 16,1%. O número de proteção contra bots do HTTP Archive também precisa de cautela, já que cerca de metade dessa categoria é reCAPTCHA, que muitas vezes é um widget em um formulário, e não uma muralha em torno de um site.
O que um teste de homepage deixa passar
Essas taxas de bloqueio provavelmente são baixas, por três razões.
Desafios podem chegar como um 200. O estudo dos top 10.000 contou apenas respostas 403, 429 e 503 como bloqueios, e o preprint de novembro contou 403 e 429. Uma página de desafio retornada com um 200 não é contabilizada, então a interferência real é maior. Nosso teste contou os desafios, e eles somaram quase tanto quanto os bloqueios.
O bloqueio cresce além da homepage. O preprint de novembro constatou que, entre sites com pelo menos seis páginas por crawler, a taxa de recusa do Chromium subiu de 0,2% nas landing pages para 10,4% nas páginas 2 a 6. Outros clientes subiram menos, e alguns não subiram nada. Uma verificação de homepage favorece um site que só reage a comportamento.
O cliente importa. O estudo dos top 10.000 encontrou uma taxa de bloqueio de 15% para Chromium headless contra cerca de 7% para as outras configurações. Em nosso teste, mudar de um User-Agent do Chrome para o padrão de uma biblioteca elevou os bloqueios de 9,0% para 15,5%. Tanto a identificação honesta de bot quanto a configuração descuidada custam acesso.
Está crescendo?
Provavelmente, embora não haja uma série simples. O melhor sinal de longo prazo é o Common Crawl, que publica resultados de busca para cada rastreamento. Sua participação de buscas registradas como negadas, que inclui robots.txt além de 403s, é assim:
| Crawl | Negado | Sucesso |
|---|---|---|
| Novembro de 2019 | 3,07% | 76,94% |
| Dezembro de 2022 | 2,94% | 74,79% |
| Dezembro de 2025 | 5,80% | 63,90% |
| Outubro de 2026 | 4,85% | 62,82% |
O Common Crawl atribui o declínio recente no sucesso a mais sites proibindo o rastreamento ou negando-o com um 403, e a um backoff que introduziu em 2022, que pula mais URLs. Então a queda não é toda bloqueio. Esses são shares de suas buscas, não de websites, e refletem um crawler que se identifica e respeita o robots.txt.
A pressão por trás disso é real. O Bad Bot Report de 2026 da Thales coloca os bots em mais de 53% de todo o tráfego em 2025, e a Cloudflare relatou que bots que não são de IA geraram 44% das requisições HTML em dezembro de 2025. Cada um vem da própria rede de um fornecedor, e ambos vendem defesas contra bots, mas isso explica por que mais donos de sites estão ativando essas ferramentas.
O que isso significa para o seu projeto
- Não planeje a partir de uma manchete. Nem “um terço da web” nem “um em dez” descreve seus alvos. No estudo dos top 10.000, o bloqueio foi “determinado pelo provedor, não pelo ranking”, então dois sites parecidos podem se comportar de formas muito diferentes.
- Teste sua própria lista. Nossa consulta de stack anti-bot mostra o quanto uma única requisição pode revelar sobre um site.
- Teste além da homepage. Percorra as páginas que você realmente precisa, no ritmo em que você de fato vai operar.
- Verifique o conteúdo, não o status. Falhas silenciosas que retornam um 200 causam mais dano do que bloqueios visíveis.
- Conserte seu cliente antes de qualquer outra coisa. Identifique-se corretamente, mantenha uma taxa razoável e preserve a coerência das sessões.
Quando um site trata seu IP como o problema, por exemplo porque ele vem de uma faixa de datacenter, proxies residenciais permitem que você veja páginas públicas a partir de uma conexão de consumidor. Eles não mudam as regras de um site, e um site que já disse não ao acesso automatizado continua dizendo isso.
A conclusão
A resposta honesta tem três partes. Cerca de um terço dos websites poderia desafiar um bot. Bem menos de fato o fazem, com cerca de uma em cada dez homepages populares recusando um determinado cliente. E o número real é maior do que qualquer taxa de bloqueio publicada, porque desafios e páginas mais profundas são subcontados. Para o planejamento, isso significa que a maior parte da web ainda está aberta a um cliente bem comportado, a parte difícil está concentrada, e o único número que importa para o seu projeto é o que você mede em seus próprios alvos.
Fontes e referências
- W3Techs, estatísticas de uso do Cloudflare (5 de novembro de 2026): w3techs.com
- HTTP Archive, Web Almanac 2025, capítulo CDN: almanac.httparchive.org
- HTTP Archive, Web Almanac 2025, capítulo Segurança: almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research (junho de 2026): arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls (preprint, novembro de 2026): arxiv.org/abs/2611.06197
- Common Crawl, métricas de crawler: commoncrawl.github.io
- Thales, 2026 Bad Bot Report: cpl.thalesgroup.com
- Cloudflare Radar 2025 Year in Review: blog.cloudflare.com