Durante la mayor parte de la historia de la web, un crawler pagaba por ancho de banda y cómputo, y el contenido en sí no costaba nada. Esa premisa está empezando a romperse. Los sitios ahora pueden responder a un crawler de IA con un precio, y los equipos que recopilan datos web para IA y machine learning necesitan averiguar qué efecto tiene eso en sus presupuestos.
El cambio es real pero temprano. Esta guía cubre cómo funcionan los peajes para crawlers, qué añaden al coste de un rastreo y cómo planificar para una web en la que algunas páginas son gratuitas, otras tienen precio y otras están cerradas. Es información general, no asesoramiento legal.
Cómo funciona un peaje para crawlers
La idea usa un marcador de posición antiguo. HTTP ha tenido un estado 402 Payment Required durante décadas, y RFC 9110 todavía dice que está “reservado para uso futuro”. Cloudflare le dio un uso en julio de 2025 con pay per crawl, que su documentación sigue describiendo como una beta cerrada.
El intercambio es sencillo:
- Un crawler de IA verificado solicita una página sin condiciones de pago, y recibe un 402 con una cabecera
crawler-price. - Vuelve a intentarlo con una cabecera
crawler-exact-pricepara aceptar ese precio, o envía de antemano una cabeceracrawler-max-pricepara indicar lo que está dispuesto a pagar. - Obtiene la página con un 200 y se le factura. Cloudflare actúa como merchant of record.
Para cada crawler, el propietario de un sitio puede cobrar, permitir o bloquear. El precio se aplica a todo el dominio por defecto y puede anularse, con un mínimo de $0.001 por rastreo.
Dos detalles importan más que el precio. Primero, el crawler tiene que demostrar quién es: Cloudflare exige Web Bot Auth, que firma cada solicitud con la propia clave del crawler usando HTTP Message Signatures (RFC 9421). Un grupo de trabajo del IETF está estandarizando el método, y el protocolo sigue siendo un borrador. Segundo, para un crawler sin relación de facturación, Cloudflare describe un cargo como “el equivalente funcional de un bloqueo a nivel de red”. En la práctica, un peaje es un bloqueo con un precio puesto.
Es más de una cabina de peaje
Cloudflare es el actor más visible, pero el mercado es más amplio y se mueve rápido.
- Condiciones de licencia en robots.txt. El estándar RSL, lanzado en septiembre de 2025 con el respaldo de Reddit, Yahoo, People Inc., Ziff Davis, O’Reilly Media y Medium, añade condiciones de licencia y regalías legibles por máquina a robots.txt, con modelos que incluyen pay-per-crawl y pay-per-inference. La versión 1.0 se publicó en diciembre de 2025.
- Paywalls en el borde de la red. El bot paywall de TollBit se integra con Fastly y Akamai, y Akamai también trabaja con Skyfire en tokens de pago para agentes.
- Mercados. Microsoft describió un marketplace de contenido para editores en febrero de 2026 en el que “los editores recibirán un pago según el valor entregado”.
- Pago por uso. En julio de 2026 Cloudflare dijo que está haciendo evolucionar pay per crawl hacia Pay Per Use, de modo que a los editores se les paga cuando el contenido genera valor y no solo cuando se obtiene. Es posible que el precio por solicitud no sea la forma final.
Los valores por defecto también están cambiando. Desde septiembre de 2026, Cloudflare ofrece a los nuevos dominios uno de dos preajustes según si el sitio obtiene ingresos de la publicidad. Para los sitios financiados con publicidad, eso significa búsqueda permitida, entrenamiento de IA no permitido y agentes bloqueados en páginas con anuncios. Nuestra guía sobre robots.txt, exclusiones de IA y señales de reserva explica cómo encajan esas señales entre sí.
Por qué los editores lo están haciendo
El motivo es el intercambio roto entre rastreo y tráfico. Las cifras de Cloudflare de julio de 2025 muestran alrededor de 38.066 rastreos por referencia para Anthropic, 1.091 para OpenAI y 195 para Perplexity, aunque advierte de que estos cálculos pueden sobrestimar las proporciones. TollBit informó de 179 visitas de bots de IA por referencia humana en sitios europeos en el primer semestre de 2026, frente a 53 en Norteamérica. Ambas empresas venden estos peajes, así que conviene leer sus cifras con eso en mente, pero la tendencia no está muy en duda.
Qué le hace un peaje a tus costes
Sin peajes, el principal coste variable de un rastreo es el ancho de banda y la infraestructura. Un peaje añade un cargo por página, sea cual sea el peso de la página. La siguiente tabla asume páginas de 1 MB y ancho de banda residencial a $0.75 por GB, nuestra tarifa Full Geo. El $0.001 es el mínimo de Cloudflare; el $0.01 es solo un ejemplo, porque no se ha publicado ningún precio medio independiente.
| Rastreo | Ancho de banda | Peaje a $0.001 | Peaje a $0.01 |
|---|---|---|---|
| 1.000 páginas | $0.75 | $1 | $10 |
| 1 millón de páginas | $750 | $1.000 | $10.000 |
| 10.000 páginas, diarias durante 30 días | $225 | $300 | $3.000 |
De esto se derivan tres cosas.
El peaje puede superar todo lo demás. Incluso en el mínimo, es mayor que el ancho de banda de una página de 1 MB. A $0.01 es más de diez veces mayor, y cualquier ahorro en ancho de banda apenas mueve el total.
Volver a rastrear sale caro. Un peaje se cobra por cada obtención, así que la frescura tiene un precio directo. Los trabajos de monitorización que vuelven a obtener páginas sin cambios son los más expuestos. Los sitemaps, las solicitudes condicionales y la detección de cambios pasan a ser herramientas de presupuesto, no solo trabajo de eficiencia.
El trabajo fallido cuesta más. Si un parser se rompe después de haber pagado por las páginas, necesitas copias en bruto o pagas de nuevo. Guarda lo que compras. Nuestro artículo sobre coste por registro limpio muestra cómo incorporar esto a tu economía unitaria.
Cómo planificar para esto
- Audita tus fuentes. Registra qué dominios de tu rastreo devuelven 402, incluyen condiciones RSL o han endurecido su robots.txt. TollBit informó de que el 30% de los scrapes de bots de IA en el cuarto trimestre de 2025 no respetaban los permisos explícitos de robots.txt, una cifra que muestra lo disputadas que están estas señales. Decide tu propia política en lugar de copiar la media.
- Limita el gasto por dominio. Trata el precio como un ajuste del rastreo. Una cabecera
crawler-max-priceo un presupuesto equivalente evita que un sitio caro consuma toda la ejecución. - Clasifica las fuentes por valor. Pregúntate qué aporta cada dominio al conjunto de datos. Pagar por las 20 fuentes que importan suele ser mejor que rastrear 2.000 de forma superficial.
- Compara un peaje con una licencia. A volumen, un acuerdo negociado puede salir más barato que las tarifas por solicitud y puede otorgar derechos que un peaje no concede. Nuestra guía sobre acuerdos de acceso a datos explica qué buscar. Pregunta qué compra realmente un pago: un peaje paga el acceso, y puede no decir nada sobre los derechos de entrenamiento.
- Incorpora la identidad desde el diseño. Las solicitudes firmadas de un crawler conocido se están convirtiendo en el billete de entrada. Si operas un crawler que quiere pagar, planifica la gestión de claves y una identidad publicada.
Dónde encajan los proxies, y dónde no
Los peajes se dirigen a crawlers que se identifican, y el tráfico que paga tiene que estar firmado. Un proxy no hace nada por eso. Un proxy cambia de dónde proviene una solicitud, no lo que se te permite hacer, así que si un sitio ha fijado un precio o ha reservado su contenido, una IP distinta no cambia esas condiciones.
Los proxies residenciales siguen siendo útiles para otra tarea: ver páginas públicas tal como las ven los usuarios locales, en distintos mercados, para trabajos como monitorización de precios, verificación de anuncios y QA. Ese trabajo no depende de eludir el precio de nadie, y debería respetar las mismas señales.
El contexto legal apunta en la misma dirección. El informe previo a la publicación de 2025 de la Oficina de Copyright de EE. UU. afirmó que el uso comercial de vastos repositorios de obras protegidas por derechos de autor para producir contenido competidor va más allá de los límites establecidos del uso legítimo (fair use), “especialmente cuando esto se logra mediante acceso ilegal”. Cómo se obtienen los datos importa tanto como lo que se hace con ellos.
En resumen
Los peajes para crawlers aún están en una fase temprana: el producto líder está en beta cerrada, los precios están sin asentar y el modelo puede pasar de pagar por obtención a pagar por uso. Pero la dirección es lo bastante clara como para planificarla. Registra qué fuentes fijan condiciones, limita el gasto por dominio, conserva copias en bruto de lo que pagas y compara los peajes con las licencias a volumen. Los equipos que traten el contenido como una partida de gasto desde ahora no se llevarán sorpresas cuando se convierta en una.
Fuentes y referencias
- Cloudflare, Introducing pay per crawl (1 de julio de 2025): blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl: developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price: developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1 de julio de 2026): cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15 de septiembre de 2026): blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29 de agosto de 2025): blog.cloudflare.com
- RFC 9110, HTTP Semantics: rfc-editor.org
- RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF Web Bot Auth working group: datatracker.ietf.org
- RSL standard, launch (10 de septiembre de 2025) and 1.0 (10 de diciembre de 2025): rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3 de febrero de 2026): about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17 de julio de 2025): fastly.com
- Akamai on monetizing AI bots at the edge (17 de septiembre de 2025): akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 and H1 2026: tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9 de mayo de 2025): copyright.gov