Pregunta cuánta parte de la web está hoy tras un muro antibots y escucharás cifras grandes. La mayoría responde a una pregunta distinta. Para los equipos que recopilan datos web, la diferencia importa, porque un sitio que podría bloquearte y un sitio que te bloquea no son el mismo problema.
Nadie ha hecho un censo, y nadie podría: la respuesta depende de la página, del cliente y del momento. Lo que existe es un conjunto de mediciones desde ángulos distintos. Juntas, ofrecen una respuesta más clara que cualquier titular aislado.
Tres preguntas distintas
| Pregunta | Medida | Población |
|---|---|---|
| ¿Podría el sitio bloquearte? | 33,1% usa un proxy inverso monitorizado, 28,5% Cloudflare | Todos los sitios web (W3Techs, 5 nov 2026) |
| 71% usa una CDN, cayendo al 35% | Top 1.000 y top 10 millones de sitios (Web Almanac 2025) | |
| ¿Ha instalado protección antibots? | 31,1% en móvil, más del 34% en escritorio | Sitios en HTTP Archive (Web Almanac 2025) |
| 16,1% con gestión de bots detectable por nosotros | 653 páginas de inicio de sitios destacados (nuestra prueba) | |
| ¿Bloquea realmente? | 6,8% a 15,2%, según el navegador | Top 10.000 páginas de inicio (feb y mar 2026) |
| 5,3% a 8,1%, en ocho rastreadores | 1.902 páginas de aterrizaje populares (preprint nov 2026) | |
| 9,0% bloqueado, 9,8% desafiado | 653 páginas de inicio de sitios destacados (nuestra prueba) |
Leídas de arriba abajo, las cifras se reducen. Cerca de un tercio de los sitios web podría desafiar a un bot, pero solo alrededor de una de cada diez páginas de inicio populares rechaza a un cliente automatizado concreto.
Estas poblaciones son distintas, así que no forman un embudo limpio, y las cifras de sitios destacados no describen la larga cola de la web. Aun así, la dirección es coherente en todas las fuentes.
La capacidad no es aplicación
El error más común es leer la cuota de mercado de una CDN como una tasa de bloqueo. Un estudio de los 10.000 sitios principales, publicado en junio de 2026 y presentado en ARES 2026, es la prueba más clara de esto. Dice que “alojarse en un proveedor capaz no garantiza una detección activa”, y encontró bloqueos en el 37% de los sitios alojados en Cloudflare en al menos una condición de prueba. Así que la mayoría de esos sitios no bloqueó ninguno de sus navegadores.
Nuestra propia prueba de octubre de 2026 apunta en la misma dirección. En las mismas 653 páginas de inicio de sitios destacados, las cookies o cabeceras de proveedor mostraron un proveedor de protección antibots o seguridad perimetral en el 36,9%, pero un producto activo de gestión de bots en el 16,1%. La cifra de protección antibots de HTTP Archive también requiere cautela, ya que alrededor de la mitad de esa categoría es reCAPTCHA, que a menudo es un widget en un formulario más que un muro alrededor de todo el sitio.
Lo que una prueba de página de inicio no capta
Esas tasas de bloqueo son probablemente bajas, por tres razones.
Los desafíos pueden llegar como un 200. El estudio de los 10.000 sitios principales solo contó como bloqueos las respuestas 403, 429 y 503, y el preprint de noviembre contó 403 y 429. Una página de desafío devuelta con un 200 no se contabiliza, así que la interferencia real es mayor. Nuestra prueba sí contó los desafíos, y estos añadieron casi tanto como los bloqueos.
El bloqueo crece más allá de la página de inicio. El preprint de noviembre encontró que, entre los sitios con al menos seis páginas por rastreador, la tasa de denegación de Chromium pasó del 0,2% en páginas de aterrizaje al 10,4% en las páginas 2 a 6. Otros clientes subieron menos, y algunos no subieron nada. Una comprobación de la página de inicio favorece a un sitio que solo reacciona al comportamiento.
El cliente importa. El estudio de los 10.000 sitios principales encontró una tasa de bloqueo del 15% para Chromium sin interfaz frente a cerca del 7% para las demás configuraciones. En nuestra prueba, pasar de un User-Agent de Chrome al predeterminado de una librería elevó los bloqueos del 9,0% al 15,5%. Tanto la identificación honesta de bots como una configuración descuidada tienen un coste en acceso.
¿Está creciendo?
Probablemente, aunque no hay una serie simple. La mejor señal a largo plazo es Common Crawl, que publica los resultados de obtención de cada rastreo. Su cuota de obtenciones registradas como denegadas, que incluye tanto robots.txt como los 403, es la siguiente:
| Rastreo | Denegado | Éxito |
|---|---|---|
| noviembre 2019 | 3,07% | 76,94% |
| diciembre 2022 | 2,94% | 74,79% |
| diciembre 2025 | 5,80% | 63,90% |
| octubre 2026 | 4,85% | 62,82% |
Common Crawl atribuye la reciente caída en el éxito a que más sitios prohíben el rastreo o lo deniegan con un 403, y a un mecanismo de retroceso que introdujo en 2022, que omite más URL. Así que la caída no se debe por completo al bloqueo. Estas son cuotas de sus obtenciones y no de sitios web, y reflejan a un rastreador que se identifica y respeta robots.txt.
La presión detrás de esto es real. El Bad Bot Report 2026 de Thales sitúa a los bots en más del 53% de todo el tráfico en 2025, y Cloudflare informó de que los bots no relacionados con IA generaron el 44% de las solicitudes HTML a fecha de diciembre de 2025. Cada cifra procede de la red propia de un proveedor, y ambos venden defensas antibots, pero explican por qué cada vez más propietarios de sitios activan estas herramientas.
Qué significa esto para tu proyecto
- No planifiques a partir de un titular. Ni “un tercio de la web” ni “uno de cada diez” describe tus objetivos. En el estudio de los 10.000 sitios principales, el bloqueo estaba “impulsado por el proveedor, no por el ranking”, así que dos sitios similares pueden comportarse de forma muy distinta.
- Prueba tu propia lista. Nuestra búsqueda de la pila antibots muestra cuánto puede revelar una sola solicitud sobre un sitio.
- Prueba más allá de la página de inicio. Recorre las páginas que realmente necesitas, al ritmo al que realmente vas a operar.
- Comprueba el contenido, no el estado. Los fallos silenciosos que devuelven un 200 causan más daño que los bloqueos visibles.
- Arregla tu cliente antes que nada. Identifícate correctamente, mantén un ritmo razonable y conserva sesiones coherentes.
Cuando un sitio trata tu IP como el problema, por ejemplo porque procede de un rango de datacenter, los proxies residenciales te permiten ver páginas públicas desde una conexión de consumidor. No cambian las reglas de un sitio, y un sitio que ha dicho no al acceso automatizado sigue queriendo decir eso.
La conclusión
La respuesta honesta tiene tres partes. Cerca de un tercio de los sitios web podría desafiar a un bot. Muchos menos lo hacen activamente, con aproximadamente una página de inicio popular de cada diez rechazando a un cliente concreto. Y la cifra real es más alta que cualquier tasa de bloqueo publicada, porque los desafíos y las páginas más profundas están infracontados. Para la planificación, esto significa que la mayor parte de la web sigue abierta a un cliente bien comportado, que la dificultad se concentra, y que la única cifra que importa para tu proyecto es la que midas sobre tus propios objetivos.
Fuentes y referencias
- W3Techs, estadísticas de uso de Cloudflare (5 de noviembre de 2026): w3techs.com
- HTTP Archive, Web Almanac 2025, capítulo CDN: almanac.httparchive.org
- HTTP Archive, Web Almanac 2025, capítulo de Seguridad: almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research (junio 2026): arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls (preprint, noviembre 2026): arxiv.org/abs/2611.06197
- Common Crawl, métricas de rastreadores: commoncrawl.github.io
- Thales, 2026 Bad Bot Report: cpl.thalesgroup.com
- Cloudflare Radar 2025 Year in Review: blog.cloudflare.com