ボットを防御するチームと、ボットを構築するチームは、約15年にわたってスローモーションの軍拡競争を続けてきた。最前線は数年ごとに移動し、そのたびにデータチームには異なる種類の投資が求められた。おおまかな時系列を知っておく価値はある。なぜなら現状は外部からは自明ではなく、インターネット上のアドバイスの多くはアンチボット世代で2つ遅れているからだ。
第1世代:IPブロックリストとレート制限
初期の防御は手続き的なものだった。リクエストが来ると、サーバーはIPを記録し、そのIPが何か明らかに機械的な動作、1分あたりのリクエストが多すぎる、シーケンスが予測しすぎている、User-Agentが小さすぎるなどをすると、レート制限を受けるか完全にBANされた。既知のデータセンターIP範囲のリストが出回っていた。AWSやDigitalOceanからのものは疑わしいものとして扱われた。
この時代は「Xをスクレイピングするにはどうすればいいか」という問いへの答えがほぼ常に「プロキシを使え」だった時代だ。具体的には、データセンタープロキシだ。/24を買い、そこをローテートすれば問題解決だった。
これがうまくいったのは、防御側にそれ以上の手段があまりなかったからだ。
第2世代:CAPTCHAとユーザーフリクション税
IPレベルの防御が失敗し始めると、防御側はユーザーにフリクションを押し付けた。CAPTCHAが普及し、最初は画像マッチング式、次にreCAPTCHA、次にinvisible reCAPTCHA、そしてhCaptchaやTurnstile、Arkoseへと発展した。
CAPTCHAは、ナイーブなスクレイパーを阻止するという意味では機能する。また、実際のユーザーを著しく苛立たせ、コンバージョンを測定可能なほど低下させるという意味でも機能する。2017年から2020年の間に積極的なCAPTCHA層を使っていたサイトのほとんどは、フリクションのコストがボット対策のコストを上回ったため、その後撤退している。
スクレイパー側では、CAPTCHAは人間参加型のソルバーサービスという業界全体を生み出した。1回の解読につき数セントを支払い、低コスト地域の作業員パネルにCAPTCHAをキューに入れ、トークンを受け取り、スクレイピングを続ける。洗練されてはいないが、機能した。
第3世代:ブラウザと行動フィンガープリンティング
第3世代はスタックの上位に移動した。サイトはIPだけでなく、クライアント自体、つまりブラウザをフィンガープリントし始めた。Canvasフィンガープリンティング、WebGLシグネチャ、フォントリスト、オーディオコンテキスト、タイムゾーン、言語設定、画面サイズ、利用可能なプラグイン、TLSハンドシェイクで提案される暗号方式の順序(JA3/JA4フィンガープリント)、マウス動作のタイミング、キーストロークのリズムなどだ。
特定のハードニングを施していないヘッドレスChromiumは、こうしたシグナルを数十も漏らしてしまう。防御側はこの領域全体でリクエストをスコアリングし、あまりにきれい、あまりに機械的、あるいは実際のユーザーのブラウザとあまりに異なるものを拒否するライブラリ(Fingerprint.js、その他各種商用の同等品)を構築した。
これによりスクレイピングは困難になった。レジデンシャルIPだけではもはや十分ではなくなった。実際のブラウザを動かすか、フィンガープリントをパッチした十分に優れたヘッドレスブラウザを動かす必要があり、その挙動を自然に見せる必要があった。プロキシは依然として不可欠だったが、それは答えのすべてではなく、スタックの一要素になった。
第4世代:ネットワークレベルの評判
現在の最前線は、誰にとっても最もコストのかかるものだ。防御側は今や、Cloudflare、Akamai、そして十数の小規模専門業者といったネットワークプロバイダーから評判データを購入している。すべてのIPには、数百万のサイトからのシグナルを集約した評判スコアが付与される。このIPは銀行口座へのログイン、チェックアウトフロー、通常のGmailを開くといった行動が見られたか。それとも、クレデンシャルスタッフィングを示唆するパターンでログインエンドポイントを叩いたり、機械的なリズムでコメントを投稿したり、火曜日午前3時に競合の価格ページをスクレイピングしたりする行動が見られたか。
データセンターIPは、ほぼ定義上、薄いか負の評判のネットワーク履歴を持つ。それは通常の人間らしい行動をしてこなかった。対照的にレジデンシャルIPは、その背後に何年にもわたる平凡なトラフィックの履歴を持つ。それを利用する世帯はNetflix、Steam、Zoom、通常のブラウジングに使っている。その評判こそが、今日スクレイパーを守っているものだ。
ISPプロキシは興味深い中間に位置する。実際のレジデンシャルISPによって発行される(そのためアップストリームプロバイダーは世帯のIPブロックと一致する)が、データセンターに割り当てられ、静的に保持される。純粋なデータセンターIPよりも検出されにくいが、ローテーティングレジデンシャルよりは検出されやすく、価格もそれに応じて設定されている。
2026年のデータチームにとっての意味
4つの世代を通じて変わらず真実であり続けたこと、そしてこれからも真実であり続けるであろういくつかの点がある。
**適切なプロキシは必要条件ではあるが十分条件ではない。**本物のレジデンシャルIPはネットワークレベルの関門を通過させてくれる。そこから先は、クライアント、ヘッダー、TLSフィンガープリント、行動パターンが依然として妥当なものである必要がある。
**ブロック率だけが重要な指標だ。**プールサイズでも、対応国数でも、宣伝されている機能でもない。スクレイピングが許容できるコストできれいなHTMLを返すなら、インフラは機能している。そうでないなら、どれだけのマーケティング上の主張も助けにはならない。
**適切なプロキシはワークフローに依存する。**巨大なレジデンシャルプールにまたがるリクエストごとのローテーションは、ファンアウト型の価格モニタリングジョブには正しい選択だ。単一のレジデンシャルIPで10分間のスティッキーセッションを維持するのは、複数ページにわたるフローには正しい選択だ。固定されたISP IPは、アカウント管理や、数週間から数か月にわたって同じアイデンティティを必要とするあらゆるワークフローには正しい選択だ。すべてのジョブに一つのツールを選んではならない。
**アンチボットはスタックの上位へ移動し続ける。**次の層はおそらく、エッジでのより積極的な行動分析、単一リクエストの特徴ではなく数分間にわたるセッション形状を見る機械学習ベースの分類器だろう。これはすでに最大手サイトで実運用に投入されている。防御側の軍拡競争は複雑化を続け、それに留まり続けるコストも同様に増していく。
正直な結論はこうだ。スクレイピングが「解決済み」だと言う者は誰も正しくない。それは運用上の問題であり、対価を払っているのはその運用に対してだ。レジデンシャルプロキシが基盤であり続けているのは、アップストリームIPが適切な種類の履歴を持つ唯一の場所が依然としてそこだからだ。その他すべては、その上に成り立っている。