Pendant la majeure partie de l’histoire du web, un crawler payait pour la bande passante et le calcul, et le contenu lui-même ne coûtait rien. Cette hypothèse commence à se briser. Les sites peuvent désormais répondre à un crawler d’IA avec un prix, et les équipes qui collectent des données web pour l’IA et le machine learning doivent comprendre ce que cela implique pour leurs budgets.
Le changement est réel mais précoce. Ce guide explique comment fonctionnent les péages de crawlers, ce qu’ils ajoutent au coût d’un crawl, et comment planifier pour un web où certaines pages sont gratuites, certaines sont tarifées et certaines sont fermées. Il s’agit d’une information générale, pas d’un conseil juridique.
Comment fonctionne un péage de crawler
L’idée utilise un ancien espace réservé. HTTP dispose depuis des décennies d’un statut 402 Payment Required, et la RFC 9110 indique toujours qu’il “est réservé pour un usage futur”. Cloudflare lui a donné un usage en juillet 2025 avec pay per crawl, que sa documentation décrit encore comme une bêta fermée.
L’échange est simple :
- Un crawler d’IA vérifié demande une page sans conditions de paiement, et reçoit un 402 avec un en-tête
crawler-price. - Il réessaie avec un en-tête
crawler-exact-pricepour accepter ce prix, ou il envoie à l’avance un en-têtecrawler-max-pricepour indiquer ce qu’il est prêt à payer. - Il obtient la page avec un 200 et est facturé. Cloudflare agit comme marchand de référence (merchant of record).
Pour chaque crawler, le propriétaire d’un site peut facturer, autoriser ou bloquer. Le prix s’applique par défaut à l’ensemble du domaine et peut être modifié, avec un minimum de $0.001 par crawl.
Deux détails comptent plus que le prix. D’abord, le crawler doit prouver son identité : Cloudflare exige Web Bot Auth, qui signe chaque requête avec la clé propre du crawler en utilisant les HTTP Message Signatures (RFC 9421). Un groupe de travail de l’IETF standardise la méthode, et le protocole est encore à l’état de brouillon. Ensuite, pour un crawler sans relation de facturation, Cloudflare décrit une facturation comme “l’équivalent fonctionnel d’un blocage au niveau réseau”. En pratique, un péage est un blocage assorti d’un prix.
Il y a plus d’un poste de péage
Cloudflare est l’acteur le plus visible, mais le marché est plus large et évolue rapidement.
- Conditions de licence dans robots.txt. La norme RSL, lancée en septembre 2025 avec des soutiens incluant Reddit, Yahoo, People Inc., Ziff Davis, O’Reilly Media et Medium, ajoute des conditions de licence et de redevance lisibles par machine à robots.txt, avec des modèles incluant pay-per-crawl et pay-per-inference. La version 1.0 a été publiée en décembre 2025.
- Paywalls en périphérie de réseau. Le bot paywall de TollBit s’intègre avec Fastly et Akamai, et Akamai travaille aussi avec Skyfire sur des jetons de paiement pour les agents.
- Places de marché. Microsoft a décrit une place de marché de contenu pour éditeurs en février 2026, dans laquelle “les éditeurs seront payés en fonction de la valeur livrée”.
- Paiement à l’usage. En juillet 2026, Cloudflare a annoncé faire évoluer pay per crawl vers Pay Per Use, afin que les éditeurs soient payés lorsque le contenu crée de la valeur et pas seulement lorsqu’il est récupéré. La tarification par requête pourrait ne pas être la forme finale.
Les réglages par défaut évoluent aussi. Depuis septembre 2026, Cloudflare propose aux nouveaux domaines l’un de deux préréglages selon que le site tire ou non des revenus de la publicité. Pour les sites financés par la publicité, cela signifie la recherche autorisée, l’entraînement d’IA interdit et les agents bloqués sur les pages comportant des publicités. Notre guide sur robots.txt, les opt-outs IA et les signaux de réservation explique comment ces signaux s’articulent.
Pourquoi les éditeurs le font
Le motif est l’échange rompu entre crawling et trafic. Les chiffres de Cloudflare de juillet 2025 montrent environ 38 066 crawls par référence pour Anthropic, 1 091 pour OpenAI et 195 pour Perplexity, bien que l’entreprise prévienne que ces calculs puissent surestimer les ratios. TollBit a rapporté 179 visites de bots d’IA par référence humaine sur les sites européens au premier semestre 2026, contre 53 en Amérique du Nord. Les deux entreprises vendent ces péages, il faut donc lire leurs chiffres en gardant cela à l’esprit, mais la tendance ne fait guère de doute.
Ce qu’un péage fait à vos coûts
Sans péages, le principal coût variable d’un crawl est la bande passante et l’infrastructure. Un péage ajoute une charge par page, quel que soit le poids de la page. Le tableau ci-dessous suppose des pages de 1 MB et une bande passante résidentielle à $0.75 par GB, notre tarif Full Geo. Le $0.001 est le minimum de Cloudflare ; le $0.01 n’est qu’un exemple, car aucun prix moyen indépendant n’a été publié.
| Crawl | Bande passante | Péage à $0.001 | Péage à $0.01 |
|---|---|---|---|
| 1 000 pages | $0.75 | $1 | $10 |
| 1 million de pages | $750 | $1 000 | $10 000 |
| 10 000 pages, quotidiennement pendant 30 jours | $225 | $300 | $3 000 |
Trois conséquences en découlent.
Le péage peut dépasser tout le reste. Même au minimum, il est supérieur à la bande passante pour une page de 1 MB. À $0.01, il est plus de dix fois supérieur, et toute économie sur la bande passante ne modifie guère le total.
Le recrawling devient coûteux. Un péage est facturé par récupération, donc la fraîcheur a un prix direct. Les tâches de surveillance qui récupèrent à nouveau des pages inchangées sont les plus exposées. Les sitemaps, les requêtes conditionnelles et la détection de changement deviennent des outils budgétaires, pas seulement des travaux d’efficacité.
Le travail raté coûte plus cher. Si un parser tombe en panne après que vous avez payé pour les pages, vous avez besoin de copies brutes ou vous payez à nouveau. Stockez ce que vous achetez. Notre article sur le coût par enregistrement propre montre comment intégrer cela dans votre économie unitaire.
Comment s’y préparer
- Auditez vos sources. Consignez les domaines de votre crawl qui renvoient des 402, portent des conditions RSL ou ont resserré leur robots.txt. TollBit a rapporté que 30% des scrapes de bots d’IA au T4 2025 ne respectaient pas les permissions explicites de robots.txt, un chiffre qui montre à quel point les signaux sont contestés. Définissez votre propre politique plutôt que de copier la moyenne.
- Plafonnez les dépenses par domaine. Traitez le prix comme un paramètre de crawl. Un en-tête
crawler-max-priceou un budget équivalent empêche un site coûteux de consommer toute l’exécution. - Classez les sources par valeur. Demandez-vous ce que chaque domaine apporte au jeu de données. Payer pour les 20 sources qui comptent vaut généralement mieux que crawler 2 000 sources superficiellement.
- Comparez un péage avec une licence. À grand volume, un accord négocié peut être moins cher que des frais par requête et peut accorder des droits qu’un péage n’accorde pas. Notre guide sur les accords d’accès aux données détaille les points à vérifier. Demandez-vous ce qu’un paiement achète réellement : un péage paie l’accès, et peut ne rien dire des droits d’entraînement.
- Intégrez l’identité. Les requêtes signées provenant d’un crawler connu deviennent le ticket d’entrée. Si vous exploitez un crawler qui souhaite payer, prévoyez la gestion des clés et une identité publiée.
Où les proxys ont leur place, et où ils ne l’ont pas
Les péages ciblent les crawlers qui s’identifient, et le trafic payant doit être signé. Un proxy n’y change rien. Un proxy modifie l’origine d’une requête, pas ce que vous êtes autorisé à faire, donc si un site a fixé un prix ou réservé son contenu, une IP différente ne change pas ces conditions.
Les proxys résidentiels restent utiles pour une tâche différente : voir les pages publiques comme les utilisateurs locaux les voient, sur différents marchés, pour des travaux tels que la surveillance des prix, la vérification publicitaire et l’assurance qualité. Ce travail ne dépend pas de l’évitement du prix de quiconque, et il doit respecter les mêmes signaux.
Le contexte juridique va dans le même sens. Le rapport de pré-publication 2025 du US Copyright Office indique que l’usage commercial de vastes volumes d’œuvres protégées par le droit d’auteur pour produire du contenu concurrent dépasse les limites établies de l’usage loyal (fair use), “surtout lorsque cela est réalisé par un accès illégal”. La manière dont les données sont obtenues compte autant que ce qui en est fait.
En résumé
Les péages de crawlers en sont encore à leurs débuts : le produit phare est en bêta fermée, les prix ne sont pas stabilisés et le modèle pourrait évoluer d’un paiement par récupération vers un paiement par usage. Mais la direction est assez claire pour s’y préparer. Consignez les sources qui fixent des conditions, plafonnez les dépenses par domaine, conservez des copies brutes de ce que vous payez, et comparez les péages avec les licences à grand volume. Les équipes qui traitent dès maintenant le contenu comme un poste budgétaire ne seront pas surprises lorsqu’il en deviendra un.
Sources et références
- Cloudflare, Introducing pay per crawl (1 juillet 2025) : blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl : developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price : developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1 juillet 2026) : cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15 septembre 2026) : blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29 août 2025) : blog.cloudflare.com
- RFC 9110, HTTP Semantics : rfc-editor.org
- RFC 9421, HTTP Message Signatures : rfc-editor.org
- IETF Web Bot Auth working group : datatracker.ietf.org
- RSL standard, launch (10 septembre 2025) et 1.0 (10 décembre 2025) : rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3 février 2026) : about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17 juillet 2025) : fastly.com
- Akamai on monetizing AI bots at the edge (17 septembre 2025) : akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 et H1 2026 : tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9 mai 2025) : copyright.gov