Por boa parte da história da web, um crawler pagava por largura de banda e computação, e o conteúdo em si não custava nada. Essa premissa está começando a mudar. Sites agora podem responder a um crawler de IA com um preço, e equipes que coletam dados da web para IA e machine learning precisam entender o que isso faz com seus orçamentos.
A mudança é real, mas ainda inicial. Este guia explica como funcionam os pedágios de crawler, o que eles acrescentam ao custo de um crawl e como se planejar para uma web onde algumas páginas são gratuitas, outras têm preço e outras estão fechadas. É uma informação geral, não um aconselhamento jurídico.
Como funciona um pedágio de crawler
A ideia usa um placeholder antigo. O HTTP tem um status 402 Payment Required há décadas, e a RFC 9110 ainda diz que ele “está reservado para uso futuro”. A Cloudflare deu um uso a ele em julho de 2025 com o pay per crawl, que sua documentação ainda descreve como uma beta fechada.
A troca é simples:
- Um crawler de IA verificado solicita uma página sem termos de pagamento e recebe um 402 com um cabeçalho
crawler-price. - Ele tenta novamente com um cabeçalho
crawler-exact-pricepara aceitar esse preço, ou envia um cabeçalhocrawler-max-priceantecipadamente para dizer quanto está disposto a pagar. - Ele recebe a página com um 200 e é cobrado. A Cloudflare atua como merchant of record.
Para cada crawler, o dono do site pode cobrar, permitir ou bloquear. O preço se aplica ao domínio inteiro por padrão e pode ser sobrescrito, com um mínimo de $0.001 por crawl.
Dois detalhes importam mais do que o preço. Primeiro, o crawler precisa provar quem é: a Cloudflare exige o Web Bot Auth, que assina cada requisição com a própria chave do crawler usando HTTP Message Signatures (RFC 9421). Um grupo de trabalho do IETF está padronizando o método, e o protocolo ainda é um draft. Segundo, para um crawler sem relação de cobrança, a Cloudflare descreve uma cobrança como “o equivalente funcional de um bloqueio no nível de rede”. Na prática, um pedágio é um bloqueio com um preço atrelado.
É mais de uma cancela de pedágio
A Cloudflare é a protagonista mais visível, mas o mercado é mais amplo e está se movendo rápido.
- Termos de licenciamento no robots.txt. O padrão RSL, lançado em setembro de 2025 com apoiadores incluindo Reddit, Yahoo, People Inc., Ziff Davis, O’Reilly Media e Medium, adiciona termos de licenciamento e royalties legíveis por máquina ao robots.txt, com modelos incluindo pay-per-crawl e pay-per-inference. A versão 1.0 foi publicada em dezembro de 2025.
- Paywalls na borda da rede. O bot paywall da TollBit se integra com Fastly e Akamai, e a Akamai também trabalha com a Skyfire em tokens de pagamento para agentes.
- Marketplaces. A Microsoft descreveu um marketplace de conteúdo para publishers em fevereiro de 2026, no qual “os publishers serão pagos pelo valor entregue”.
- Pagamento por uso. Em julho de 2026, a Cloudflare disse que está evoluindo o pay per crawl para o Pay Per Use, de modo que os publishers sejam pagos quando o conteúdo gera valor e não apenas quando é buscado. O preço por requisição pode não ser a forma final.
As configurações padrão também estão mudando. Desde setembro de 2026, a Cloudflare oferece aos novos domínios um de dois presets, dependendo de o site ganhar dinheiro com publicidade ou não. Para sites financiados por anúncios, isso significa busca permitida, treinamento de IA desabilitado e agentes bloqueados em páginas com anúncios. Nosso guia sobre robots.txt, opt-outs de IA e sinais de reserva explica como esses sinais se encaixam.
Por que os publishers estão fazendo isso
O motivo é a quebra da troca entre crawling e tráfego. Os números da Cloudflare de julho de 2025 mostram cerca de 38.066 crawls por referência para a Anthropic, 1.091 para a OpenAI e 195 para a Perplexity, embora alertem que esses cálculos podem superestimar as proporções. A TollBit reportou 179 visitas de bots de IA por referência humana em sites europeus no primeiro semestre de 2026, contra 53 na América do Norte. Ambas as empresas vendem esses pedágios, então leve isso em conta ao analisar os números, mas a direção não deixa muita dúvida.
O que um pedágio faz com seus custos
Sem pedágios, o principal custo variável de um crawl é largura de banda e infraestrutura. Um pedágio adiciona uma cobrança por página, independentemente do peso da página. A tabela abaixo assume páginas de 1 MB e largura de banda residencial a $0.75 por GB, nossa taxa Full Geo. O $0.001 é o mínimo da Cloudflare; o $0.01 é apenas um exemplo, pois nenhum preço médio independente foi publicado.
| Crawl | Largura de banda | Pedágio a $0.001 | Pedágio a $0.01 |
|---|---|---|---|
| 1.000 páginas | $0.75 | $1 | $10 |
| 1 milhão de páginas | $750 | $1.000 | $10.000 |
| 10.000 páginas, diariamente por 30 dias | $225 | $300 | $3.000 |
Três coisas decorrem disso.
O pedágio pode superar tudo o mais. Mesmo no mínimo, ele é maior do que a largura de banda para uma página de 1 MB. A $0.01, é mais de dez vezes maior, e qualquer economia na largura de banda quase não move o total.
Recrawlear fica caro. Um pedágio é cobrado por busca, então a atualização tem um preço direto. Trabalhos de monitoramento que rebuscam páginas inalteradas são os mais expostos. Sitemaps, requisições condicionais e detecção de mudanças tornam-se ferramentas orçamentárias, não apenas trabalho de eficiência.
Trabalho malsucedido custa mais. Se um parser quebra depois que você pagou pelas páginas, você precisa de cópias brutas ou paga de novo. Armazene o que você compra. Nosso texto sobre custo por registro limpo mostra como incorporar isso à sua economia unitária.
Como se planejar para isso
- Audite suas fontes. Registre quais domínios no seu crawl retornam 402s, carregam termos RSL ou endureceram seu robots.txt. A TollBit reportou que 30% dos scrapes de bots de IA no Q4 de 2025 não respeitaram as permissões explícitas do robots.txt, um número que mostra o quanto esses sinais são contestados. Decida sua própria política em vez de copiar a média.
- Limite o gasto por domínio. Trate o preço como uma configuração de crawl. Um cabeçalho
crawler-max-priceou um orçamento equivalente impede que um site caro consuma toda a execução. - Classifique as fontes por valor. Pergunte o que cada domínio acrescenta ao dataset. Pagar pelas 20 fontes que importam costuma ser melhor do que crawlear 2.000 superficialmente.
- Compare um pedágio com uma licença. Em volume, um acordo negociado pode ser mais barato do que taxas por requisição e pode conceder direitos que um pedágio não concede. Nosso guia sobre acordos de acesso a dados explica o que observar. Pergunte o que um pagamento realmente compra: um pedágio paga pelo acesso e pode não dizer nada sobre direitos de treinamento.
- Incorpore identidade. Requisições assinadas de um crawler conhecido estão se tornando o bilhete de entrada. Se você opera um crawler que quer pagar, planeje o gerenciamento de chaves e uma identidade publicada.
Onde os proxies se encaixam, e onde não
Os pedágios têm como alvo crawlers que se identificam, e o tráfego pagante precisa ser assinado. Um proxy não faz nada por isso. Um proxy muda de onde vem a requisição, não o que você tem permissão para fazer, então, se um site definiu um preço ou reservou seu conteúdo, um IP diferente não muda esses termos.
Proxies residenciais continuam úteis para um trabalho diferente: ver páginas públicas como usuários locais as veem, em diferentes mercados, para trabalhos como monitoramento de preços, verificação de anúncios e QA. Esse trabalho não depende de evitar o preço de ninguém, e deve respeitar os mesmos sinais.
O pano de fundo jurídico aponta na mesma direção. O relatório pré-publicação de 2025 do US Copyright Office disse que o uso comercial de vastos acervos de obras protegidas por direitos autorais para produzir conteúdo concorrente vai além dos limites estabelecidos de uso justo, “especialmente quando isso é feito por meio de acesso ilegal”. Como os dados são obtidos importa tanto quanto o que é feito com eles.
Conclusão
Os pedágios de crawler ainda são iniciais: o produto líder está em beta fechada, os preços ainda não estão estabelecidos e o modelo pode mudar de pagamento por busca para pagamento por uso. Mas a direção já é clara o suficiente para se planejar. Registre quais fontes definem termos, limite o gasto por domínio, mantenha cópias brutas do que você paga e compare pedágios com licenças em volume. Equipes que tratarem o conteúdo como um item de linha agora não serão pegas de surpresa quando ele se tornar um.
Fontes e referências
- Cloudflare, Introducing pay per crawl (1 July 2025): blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl: developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price: developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1 July 2026): cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15 September 2026): blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29 August 2025): blog.cloudflare.com
- RFC 9110, HTTP Semantics: rfc-editor.org
- RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF Web Bot Auth working group: datatracker.ietf.org
- RSL standard, launch (10 September 2025) and 1.0 (10 December 2025): rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3 February 2026): about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17 July 2025): fastly.com
- Akamai on monetizing AI bots at the edge (17 September 2025): akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 and H1 2026: tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9 May 2025): copyright.gov