Webのほとんどの歴史において、クローラーが支払うのは帯域幅と計算資源の費用であり、コンテンツ自体は無料だった。その前提が崩れ始めている。サイトはいまやAIクローラーに価格を提示できるようになり、AIと機械学習のためにWebデータを収集するチームは、それが自分たちの予算にどう影響するかを把握する必要がある。
この変化は実際に起きているが、まだ初期段階だ。本ガイドでは、クローラー課金の仕組み、クロールのコストに何が加わるのか、そしてあるページは無料、あるページは有料、あるページは閉鎖されるというWebにどう備えるかを扱う。これは一般的な情報であり、法的助言ではない。
クローラー課金の仕組み
このアイデアは古いプレースホルダーを利用している。HTTPには数十年前から402 Payment Requiredというステータスがあり、RFC 9110では今も「将来の使用のために予約されている」とされている。Cloudflareは2025年7月、pay per crawlという形でこれに用途を与えた。その公式文書では今も「クローズドベータ」と説明されている。
やり取りは単純だ。
- 検証済みのAIクローラーが支払い条件なしでページをリクエストすると、
crawler-priceヘッダー付きの402が返される。 - その価格を受け入れるために
crawler-exact-priceヘッダーを付けて再試行するか、あらかじめ支払う上限額を示すcrawler-max-priceヘッダーを送る。 - 200でページを取得し、課金される。Cloudflareがマーチャント・オブ・レコード(決済代行者)として機能する。
サイト所有者はクローラーごとに、課金する、許可する、ブロックするを選べる。価格はデフォルトでドメイン全体に適用され、上書き可能で、最低額は1クロールあたり$0.001だ。
価格そのものより重要な点が2つある。第一に、クローラーは自分の身元を証明しなければならない。CloudflareはWeb Bot Authを要求しており、これはHTTP Message Signatures(RFC 9421)を使ってクローラー自身の鍵で各リクエストに署名する。IETFのワーキンググループがこの手法の標準化を進めているが、プロトコルはまだドラフト段階だ。第二に、課金関係のないクローラーに対して、Cloudflareは課金を「ネットワークレベルのブロックと機能的に同等」と説明している。実際のところ、課金とは価格が付いたブロックなのだ。
課金ゲートは一つではない
Cloudflareは最も目立つプレイヤーだが、市場はより広く、急速に動いている。
- robots.txtにおけるライセンス条件。 2025年9月に開始されたRSL標準は、Reddit、Yahoo、People Inc.、Ziff Davis、O’Reilly Media、Mediumなどを支援企業に持ち、robots.txtに機械可読なライセンスとロイヤリティ条件を追加する。モデルにはpay-per-crawlやpay-per-inferenceが含まれる。バージョン1.0は2025年12月に公開された。
- ネットワークエッジでのペイウォール。 TollBitのボットペイウォールはFastlyおよびAkamaiと統合されており、AkamaiはSkyfireともエージェント向けの支払いトークンで協業している。
- マーケットプレイス。 Microsoftは2026年2月、パブリッシャー向けコンテンツマーケットプレイスについて「パブリッシャーは提供された価値に応じて支払いを受ける」と説明した。
- 利用に応じた支払い。 2026年7月、Cloudflareはpay per crawlをPay Per Useへと進化させると発表した。パブリッシャーはコンテンツが価値を生んだときに支払いを受けるのであって、単に取得されただけでは支払われない。リクエスト単位の価格設定は最終形ではないかもしれない。
デフォルト設定も変化している。2026年9月以降、Cloudflareは新規ドメインに対し、そのサイトが広告収入を得ているかどうかに応じて2つのプリセットのいずれかを提供する。広告収益型サイトの場合、検索は許可、AI学習は不許可、広告が表示されるページではエージェントはブロックされる。robots.txt、AIオプトアウト、予約シグナルに関する当社のガイドで、これらのシグナルがどう組み合わさるかを解説している。
パブリッシャーがこれを行う理由
動機は、クロールとトラフィックの間の壊れた交換関係にある。Cloudflareの2025年7月のデータによれば、Anthropicでは1件の参照流入あたり約38,066回のクロール、OpenAIでは1,091回、Perplexityでは195回とされているが、同社はこれらの計算が比率を過大評価している可能性があると注意している。TollBitは2026年上半期、欧州サイトで人間の参照流入1件あたりAIボット訪問179回を報告しており、北米では53回だった。両社ともこうした課金を販売する立場にあるため、その数字は割り引いて読むべきだが、方向性自体に大きな疑いはない。
課金がコストに与える影響
課金がなければ、クロールの主な変動コストは帯域幅とインフラだ。課金はページの重さにかかわらず、ページごとに料金を追加する。以下の表は、1MBのページと、当社のFull Geoレートである1GBあたり$0.75のレジデンシャル帯域幅を前提としている。$0.001はCloudflareの最低額であり、$0.01は単なる例示にすぎない。独立した平均価格はまだ公表されていないためだ。
| クロール | 帯域幅 | $0.001の場合の課金 | $0.01の場合の課金 |
|---|---|---|---|
| 1,000ページ | $0.75 | $1 | $10 |
| 100万ページ | $750 | $1,000 | $10,000 |
| 1万ページ、30日間毎日 | $225 | $300 | $3,000 |
ここから3つのことが言える。
課金が他のすべてを上回りうる。 最低額であっても、1MBのページに対する帯域幅コストより大きい。$0.01であれば10倍以上になり、帯域幅での節約は合計額にほとんど影響しない。
再クロールのコストが高くなる。 課金はフェッチごとに発生するため、鮮度維持に直接コストがかかる。変化していないページを再取得する監視ジョブが最もリスクにさらされる。サイトマップ、条件付きリクエスト、変更検知は、効率化のためだけでなく予算管理のツールになる。
失敗した作業はより高くつく。 ページに対して支払った後にパーサーが壊れた場合、生のコピーを保持していなければ再度支払うことになる。購入したものは保存しておくべきだ。クリーンレコードあたりのコストに関する当社の記事では、これをユニットエコノミクスにどう組み込むかを示している。
どう備えるか
- 情報源を監査する。 クロール対象のドメインのうち、402を返すもの、RSL条件を持つもの、robots.txtを厳格化したものを記録する。TollBitによれば、2025年第4四半期のAIボットスクレイプの30%は明示的なrobots.txtの許可に従っていなかった。この数字は、シグナルがいかに争われているかを示している。平均値をそのまま真似るのではなく、自社のポリシーを決めるべきだ。
- ドメインごとに支出上限を設ける。 価格をクロールの設定項目として扱う。
crawler-max-priceヘッダーや同等の予算設定により、1つの高額なサイトがクロール全体を食いつぶすのを防げる。 - 情報源を価値によって順位付けする。 各ドメインがデータセットに何を加えるかを問う。重要な20の情報源に支払うほうが、2,000の情報源を薄く広くクロールするより通常は優れている。
- 課金とライセンスを比較する。 一定の規模になれば、交渉によるライセンス契約がリクエスト単位の料金より安く済み、課金では得られない権利を付与できる場合がある。データアクセス契約に関する当社のガイドで、何に注意すべきかを解説している。支払いが実際に何を買うのかを確認すること。課金はアクセスに対する対価であり、学習に使う権利については何も語っていない場合がある。
- 身元証明の仕組みを組み込む。 署名されたリクエストが既知のクローラーから送られることが、入場券になりつつある。支払いを行うクローラーを運用する場合は、鍵管理と公開された身元情報を計画しておくべきだ。
プロキシが役立つ場面、役立たない場面
課金は自らを名乗るクローラーを対象としており、支払いを行うトラフィックは署名されていなければならない。プロキシはそこでは何の役にも立たない。プロキシはリクエストの送信元を変えるだけで、許可されている行為そのものを変えるわけではない。したがって、サイトが価格を設定したりコンテンツを予約したりしている場合、IPを変えてもその条件は変わらない。
レジデンシャルプロキシは別の用途で引き続き有用だ。各市場で現地ユーザーが見るのと同じように公開ページを閲覧すること、たとえば価格監視、広告検証、QAといった作業だ。この種の作業は誰かの価格設定を回避することに依存しておらず、同じシグナルを尊重すべきものだ。
法的背景も同じ方向を指している。米国著作権局の2025年の事前公表版報告書は、著作権のある膨大な作品群を商業的に利用して競合コンテンツを生成することは、確立されたフェアユースの境界を超えると述べており、「特にそれが違法なアクセスによって達成される場合」はなおさらだとしている。データがどのように取得されたかは、それがどう使われるかと同じくらい重要だ。
結論
クローラー課金はまだ初期段階にある。主要な製品はクローズドベータの段階にあり、価格は定まっておらず、モデルはフェッチごとの支払いから利用ごとの支払いへと移行する可能性がある。しかし、備えるべき方向性は十分に明確だ。どの情報源が条件を設定しているかを記録し、ドメインごとに支出上限を設け、支払った対象の生データを保持し、一定規模においては課金とライセンスを比較すること。コンテンツを今のうちから予算項目として扱うチームは、それが実際に予算項目になったときに驚かずに済むだろう。
出典と参考文献
- Cloudflare, Introducing pay per crawl (1 July 2025): blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl: developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price: developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1 July 2026): cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15 September 2026): blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29 August 2025): blog.cloudflare.com
- RFC 9110, HTTP Semantics: rfc-editor.org
- RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF Web Bot Auth working group: datatracker.ietf.org
- RSL standard, launch (10 September 2025) and 1.0 (10 December 2025): rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3 February 2026): about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17 July 2025): fastly.com
- Akamai on monetizing AI bots at the edge (17 September 2025): akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 and H1 2026: tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9 May 2025): copyright.gov