食べログで検索される「ウェブのどれだけがボットウォールの背後にあるか」という問いに対して、大きな数字が返ってくることがある。しかしその多くは別の問いに答えている。ウェブデータを収集するチームにとって、この違いは重要だ。なぜなら、ブロックされ得るサイトと実際にブロックするサイトは、同じ問題ではないからだ。
誰も全数調査を行ったことはなく、行うこともできない。答えはページ、クライアント、そして瞬間によって変わるからだ。存在するのは、異なる角度からの一連の測定結果だ。それらを合わせると、単一の見出しよりも明確な答えが見えてくる。
3つの異なる問い
| 質問 | 指標 | 対象 |
|---|---|---|
| サイトはブロックできるか? | 33.1%が監視対象のリバースプロキシを使用、28.5%がCloudflareを使用 | すべてのウェブサイト(W3Techs、2026年11月5日) |
| 71%がCDNを使用、35%まで低下 | 上位1,000サイトおよび上位1,000万サイト(Web Almanac 2025) | |
| ボット対策を導入しているか? | モバイルで31.1%、デスクトップで34%超 | HTTP Archive内のサイト(Web Almanac 2025) |
| 検出可能なボット管理を実行しているのは16.1% | 上位サイトのホームページ653件(自社テスト) | |
| 実際にブロックしているか? | ブラウザにより6.8%から15.2% | 上位10,000ホームページ(2026年2月および3月) |
| 8種のクローラーで5.3%から8.1% | 人気ランディングページ1,902件(2026年11月のプレプリント) | |
| 9.0%がブロック、9.8%がチャレンジ | 上位サイトのホームページ653件(自社テスト) |
上から下に読むと、数字は小さくなっていく。ウェブサイトの約3分の1はボットにチャレンジできるが、人気ホームページのうち、ある自動化クライアントを実際に拒否するのは約10件に1件に過ぎない。
これらの母集団は異なるため、きれいな漏斗構造にはならず、上位サイトの数値はウェブのロングテールを表してもいない。それでも、方向性はすべての情報源で一貫している。
能力と実際の行使は別物
最もよくある誤りは、CDNの市場シェアをブロック率として読んでしまうことだ。2026年6月に発表され、ARES 2026で発表された上位10,000サイトを対象とする研究は、この点を最も明確に示している。そこでは「能力のあるプロバイダーでホスティングしていることは、能動的な検知を保証しない」とされ、少なくとも1つのテスト条件下でCloudflareでホスティングされたサイトの37%でブロックが見られたという。つまり、それらのサイトの大半は、使用したブラウザのいずれに対してもブロックしなかったことになる。
2026年10月に実施した自社のテストも同じ方向を示している。同じ653件の上位サイトのホームページ全体で、ベンダーのクッキーやヘッダーがボット対策やエッジセキュリティのベンダーを示したのは36.9%だったが、能動的なボット管理製品が示されたのは16.1%だった。HTTP Archiveによるボット対策の数値にも注意が必要だ。その区分のおよそ半分はreCAPTCHAであり、これはサイト全体を守る壁というより、フォームに付いたウィジェットであることが多い。
ホームページのテストが見逃すもの
これらのブロック率はおそらく低く見積もられている。理由は3つある。
チャレンジは200として返されることがある。 上位10,000サイトの研究では403、429、503のレスポンスのみをブロックとして数え、11月のプレプリントでは403と429を数えた。200で返されるチャレンジページはカウントされないため、実際の妨害はより多い。自社のテストではチャレンジも数えており、それはブロックとほぼ同じだけの件数を追加した。
ブロックはホームページを越えて増加する。 11月のプレプリントでは、クローラーごとに少なくとも6ページを持つサイトのうち、Chromiumの拒否率はランディングページでの0.2%から、2〜6ページ目では10.4%まで上昇したことがわかった。他のクライアントの上昇幅はより小さく、まったく上昇しなかったものもあった。ホームページのチェックは、挙動にのみ反応するサイトを実際より寛大に評価してしまう。
クライアントも重要だ。 上位10,000サイトの研究では、ヘッドレスChromiumのブロック率が15%だったのに対し、他の構成では約7%だった。自社のテストでは、Chromeのユーザーエージェントからライブラリのデフォルトに変更すると、ブロック率が9.0%から15.5%に上昇した。正直なボットの身元開示も、ずさんな構成も、どちらもアクセスを犠牲にする。
増加しているのか?
おそらくそうだが、単純な時系列データは存在しない。最も良い長期的な指標はCommon Crawlで、クロールごとに取得結果を公開している。403を含む拒否として記録された取得の割合は、以下のようになっている。
| クロール | 拒否 | 成功 |
|---|---|---|
| 2019年11月 | 3.07% | 76.94% |
| 2022年12月 | 2.94% | 74.79% |
| 2025年12月 | 5.80% | 63.90% |
| 2026年10月 | 4.85% | 62.82% |
Common Crawlは、成功率の最近の低下について、より多くのサイトがクロールを禁止したり403で拒否したりしていることと、2022年に導入した、より多くのURLをスキップするバックオフの仕組みが原因だとしている。したがって、この低下のすべてがブロックによるものではない。これらはウェブサイトの割合ではなく取得の割合であり、自らを名乗りrobots.txtを尊重するクローラーを反映したものだ。
その背後にある圧力は現実のものだ。Thalesの2026年版Bad Bot Reportは、2025年のボットが全トラフィックの53%超を占めるとしており、Cloudflareは2025年12月時点でAI以外のボットがHTMLリクエストの44%を生成したと報告している。いずれもベンダー自身のネットワークからのデータであり、両社ともボット対策を販売しているが、これらの数字は、より多くのサイト運営者がこうしたツールを導入しつつある理由を説明している。
プロジェクトにとっての意味
- 見出しの数字から計画を立てないこと。 「ウェブの3分の1」も「10件に1件」も、あなたの対象を表すものではない。上位10,000サイトの研究では、ブロックは「ランクではなくプロバイダーによって決まる」とされており、似たような2つのサイトでも挙動が大きく異なることがある。
- 自分のリストをテストすること。 アンチボットスタック検索は、1回のリクエストでサイトについてどれだけのことがわかるかを示している。
- ホームページの先までテストすること。 実際に必要なページを、実際に実行する速度で巡回すること。
- ステータスではなく内容を確認すること。 200を返す静かな失敗は、目に見えるブロックよりも大きな損害をもたらす。
- 何よりもまずクライアントを整えること。 正しく身元を開示し、妥当な速度を保ち、セッションに一貫性を持たせること。
サイトがあなたのIPそのものを問題視している場合、例えばデータセンターのIPレンジ由来であるという理由で、レジデンシャルプロキシを使えば、一般消費者の接続から公開ページを閲覧できる。これはサイトのルールを変えるものではなく、自動化されたアクセスに「No」と言っているサイトは、依然としてその意思を持ち続けている。
結論
正直な答えは3つの部分からなる。ウェブサイトの約3分の1がボットにチャレンジできる。実際にそうするサイトははるかに少なく、人気ホームページのうち、ある特定のクライアントを拒否するのはおよそ10件に1件だ。そして実際の数値は、公表されているどのブロック率よりも高い。チャレンジと深い階層のページが過小評価されているためだ。計画という観点から言えば、これはウェブの大半が行儀の良いクライアントに対して依然として開かれていること、困難な部分は一部に集中していること、そしてプロジェクトにとって本当に意味のある数字は、自分自身が対象に対して測定した数字だけであることを意味する。
出典と参考文献
- W3Techs、Cloudflare利用統計(2026年11月5日): w3techs.com
- HTTP Archive、Web Almanac 2025、CDNの章: almanac.httparchive.org
- HTTP Archive、Web Almanac 2025、セキュリティの章: almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research(2026年6月): arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls(プレプリント、2026年11月): arxiv.org/abs/2611.06197
- Common Crawl、クローラー指標: commoncrawl.github.io
- Thales、2026年版Bad Bot Report: cpl.thalesgroup.com
- Cloudflare Radar 2025年振り返り: blog.cloudflare.com