大規模にスクレイピングを行う場合、プロキシの選定は最も重要な決定事項の一つであり、「ISPとデータセンターのどちらを使うか」という点で、多くのチームが二つの方向のいずれかで失敗する。必要のないターゲットに対してISP IPに過剰な費用を払ってしまうか、データセンターIPで費用を抑えようとして、ターゲットがボット対策を有効にした瞬間に成功率が崩壊するのを目にすることになる。
この二つは互換性のあるものではなく、「どちらが優れているか」という問いは間違っている。正しい問いは「このターゲットとこのボリュームが実際に必要としているのはどちらか」である。本稿では、スクレイピングチームにとって唯一重要な観点、つまり成功率を崖から落とすことなく、ボリュームを保ってデータを取得することという観点から、ISPプロキシとデータセンタープロキシを実践的に比較する。
要点をまとめると、データセンタープロキシは購入できる中で最も安価かつ高速なIPだが、ボット対策システムに最初にブロックされる対象でもある。ISPプロキシはコストが高いものの、データセンター級のインフラ上でレジデンシャルの信頼性を持つため、データセンターIPがCAPTCHAを突破できない場面でも通過できる。ターゲットがどの程度防御されているかによって選ぶべきである。
What each one actually is
すべての違いは一つの点に帰結する。それはASN、つまりそのIPを所有し、インターネットに向けて広告するネットワークである。
データセンタープロキシは、AWS、Google Cloud、OVH、Hetznerといったホスティングプロバイダーが所有するIPである。データセンター内に存在し、大量に用意するのが安価で、商用バックボーン接続上にあるため非常に高速である。ただし、そのASNは「データセンター」であることを露呈させる。ボット対策システムはホスティング用ASNのリストを保持しており、そこからのトラフィックはデフォルトで不審なものとして扱われる。データセンターIPは、ターゲットがロボットにサービスを提供しないと決めるまでは、高速かつ安価である。
ISPプロキシ(静的レジデンシャルプロキシとも呼ばれる)はハイブリッドな存在である。IPはComcast、AT&T、BT、Deutsche Telekomといった一般消費者向けISPに登録されているため、ウェブサイトから見ると実際の家庭用接続と同じ信頼性プロファイルを持つ。しかし、それらをホストするマシンは、高速で安定したインフラを備えたデータセンター内に置かれている。つまり、変化しない静的IP上で、レジデンシャルASNの評価とデータセンターの速度・稼働率を同時に得られるということだ。この組み合わせこそが、データセンターとローテーティングレジデンシャルの中間に位置する存在として取り上げる理由である。
これが比較の全体的な基盤である。以下のすべては、「ホスティングASN、安価で高速」対「消費者ASN、信頼性が高く安定」という構図から導かれる。
Head-to-head, on the dimensions that matter at scale
バン率・検出。 これはほとんどのスクレイピング作業の勝敗を決める要素である。保護されていないターゲットでは、どちらも問題なく機能する。Cloudflare、Akamai、DataDome、PerimeterXを運用しているターゲットでは、データセンターIPはASNだけでフラグを立てられ、しばしばヘッダーを一つも送信する前に検出される。一方でISP IPはレジデンシャルに見えるためASNチェックを通過する。ターゲットが本格的なボット対策を備えている場合、この観点だけで他のすべての要素を合わせたよりも重要になる。(データセンターIPが検出に引っかかる理由については、スクレイパーがブロックされる理由を参照。)
速度とレイテンシ。 ほぼ互角であり、これは意外に思われることが多い。ISPプロキシはデータセンターでホストされているため、純粋なデータセンターIPとほぼ同等の速度、ギガビット級で低レイテンシかつ安定している。これは、実際の消費者デバイスを経由するため速度が遅いローテーティングレジデンシャルプロキシに対するISPの大きな優位点である。生のスループットではデータセンターがわずかに優位だが、ISPは一段下ではなく同じクラスに位置する。
帯域幅とコストモデル。 ここではデータセンターが魅力的に見え、比較が微妙になる部分である。データセンタープロキシはIPあたりの価格が安く、通常は大容量または無制限の帯域幅が付属する。ISPプロキシはIPあたりのコストが高いが、ShifterのISPプランにも無制限の帯域幅が含まれているため、大量のスクレイピングでもGB単位で課金されることはない。本当のコストの問題は表面上の価格ではなく成功率である。リクエストの70%がブロックされる安価なデータセンターIPは、通過するISP IPよりも、成功ページあたりのコストで見ればむしろ高くつく。
IPの安定性。 どちらも静的IPを提供する(これはIPが変化するローテーティングレジデンシャルとの大きな違いである)。静的であることは、ターゲットがホワイトリスト登録されたIPを許可している場合、長期間続く認証済みセッションを維持する場合、または自社システムが把握できる予測可能なIP群が必要な場合に重要になる。この点でISPとデータセンターは同等であり、いずれもローテーティングレジデンシャルより安定性で優れる。
プール規模と同時接続数。 データセンターのプールは非常に大きく、安価に拡張できるため、防御の弱いターゲットに対する力任せの同時接続では価格面で他に負けない。ISPのプールはより小さく、IPあたりの価値が高いが、大規模なISPプールが必要になることはほとんどない。各IPが確実に通過するため、より少ないアドレス数で同等の実効スループットを得られるからである。(同時接続数そのものはIPの種類とは別のレバーである。)
地域ターゲティング。 どちらも国単位でのターゲティングが可能である。ISP IPは実際の消費者向けISPに紐づいているため、レジデンシャルの位置情報として明確かつ一貫して位置特定される傾向があり、ターゲットが地域特化コンテンツを提供する場合に重要になる。データセンターの地域情報は粗い国単位のターゲティングには十分だが、「その国にいる人物」ではなく「その国にあるサーバー」として読み取られる可能性がある。
The comparison at a glance
| 観点 | データセンター | ISP(静的レジデンシャル) |
|---|---|---|
| ASNの種類 | ホスティングプロバイダー | 消費者向けISP |
| 保護されたサイトでの信頼性 | 低い、ASNでフラグ | 高い、レジデンシャルに見える |
| 速度・レイテンシ | 最速 | ほぼ同等 |
| 帯域幅 | 通常大容量/無制限 | 無制限(Shifterプラン) |
| IPの安定性 | 静的 | 静的 |
| IPあたりのコスト | 最低 | 高い |
| 保護されたサイトでの成功ページあたりのコスト | 高い(ブロック発生) | 低い |
| プール規模 | 非常に大きく、安価 | 小規模だが価値が高い |
| 最適な用途 | 保護されていない/自社ターゲット、大量処理 | レジデンシャルの信頼性+安定性が必要な保護されたターゲット |
When datacenter proxies win
必要のないISPの信頼性に費用を払う必要はない。データセンターが正しい選択となるのは以下の場合である。
- ターゲットが反撃してこない場合。 パブリックAPI、オープンデータポータル、自社のインフラ、ボット対策のないサイト。ここではレジデンシャルの信頼性は何のメリットも生まないため、安価で高速なIPを購入すればよい。
- IPあたりのコストが支配的で、ボリュームが膨大な場合。 防御の弱いターゲットを大量に処理し、大規模で安価な同時接続が必要な場合、データセンターの方が安価に拡張できる。
- ターゲットを自社で管理している場合。 自社サービスの負荷テスト、自社エンドポイントの監視、社内QAなど、自分自身に対してレジデンシャルの信頼性に費用を払う理由はない。
- 生のスループットだけが指標となる場合。 すべてのターゲットが防御の弱いもので、1ドルあたりの最大リクエスト数だけを求める場合、データセンターは価格面で無敵である。
When ISP proxies win
信頼性が問題になった瞬間、ISPはその割高な価格に見合う価値を発揮する。
- ターゲットが本格的なボット対策を運用している場合。 Cloudflare、Akamai、DataDome、PerimeterX、スニーカー系サイト、チケット販売、大手小売、旅行、ソーシャル。データセンターIPは壁に阻まれ、ISP IPは通過する。この一点だけで、大部分の本格的なスクレイピングにおいてISPの採用が正当化される。
- レジデンシャルの信頼性とデータセンターの安定性の両方が必要な場合。 ローテーティングレジデンシャルのレイテンシや不安定さを許容できないが、実際のユーザーに見える必要がある長期稼働のスクレイパー。両方を兼ね備える選択肢はISPだけである。スクレイピングに特化した観点についてはスクレイピングに最適なISPプロキシを参照。
- 静的でホワイトリスト登録可能、かつレジデンシャルとして通用するIPが必要な場合。 認証済みセッション、IPアローリスト方式のアクセス、あるいは安定したアイデンティティが重要で、なおターゲットがレジデンシャルの信頼性を確認するようなフローすべて。(静的レジデンシャルプロキシとは何かで詳しく解説している。)
- 表面上の価格ではなく成功率が重要な指標である場合。 ブロックされたリクエストのコストが、少し割高なIPのコストを上回る場合、ISPはIPあたりのコストでは負けても、成功ページあたりのコストで勝る。
The third option you should know about
ISPとデータセンターの選択が常にすべてを決めるわけではない。最も厳重に防御されたターゲット、あるいは負荷を分散するために巨大なIPプールをローテーションする必要がある場合には、ローテーティングレジデンシャルプロキシが第三の手段となる。これらは実際の消費者デバイスを経由するため、最高の信頼性と最大かつ最も多様なプールを備えるが、その代償として速度とIPの安定性を犠牲にする。
三つすべてを簡単に整理する方法は次の通りである。
- データセンター、最も安価で最速、レジデンシャルの信頼性はない。防御の弱いターゲット向け。
- ISP(静的レジデンシャル)、レジデンシャルの信頼性+データセンターの速度+静的IP。安定性が重要な保護されたターゲット向け。
- ローテーティングレジデンシャル、最高の信頼性、最大のプール、速度は遅く非静的。最も厳しいターゲットや高頻度のローテーションが必要な作業向け。
ISPはまさに中間に位置し、大規模スクレイピングの多くにおいて最適なバランス点となる。
A decision framework
以下の三つの質問に順番に答えれば、ほぼどの作業でも判断がつく。
- ターゲットにボット対策があるか。 なければデータセンターを使えばよく、それで完結する。過剰な費用を払う必要はない。あれば、レジデンシャルの信頼性が必要になるため、データセンターではなくISPかローテーティングレジデンシャルを選ぶ。
- 速度、安定性、静的IPが必要か。 必要であれば(長時間セッション、ホワイトリスト登録、レイテンシに敏感、不安定さを許容できない場合)ISPを選ぶ。ターゲットが非常に攻撃的で静的レジデンシャルIPすら焼き潰されてしまう場合、あるいは巨大なローテーティングプールに負荷を分散する必要がある場合は、ローテーティングレジデンシャルを選ぶ。
- 本当のコスト指標は何か。 防御の弱いターゲットでのIPあたりのコストであればデータセンター。保護されたターゲットでの成功ページあたりのコストであれば、IPあたりの価格が高くても、ほぼ常にISPが優位である。
これで判断はすべて完了する。大規模に保護されたターゲットをスクレイピングするほとんどのチームはISPに落ち着き、オープンデータをスクレイピングするほとんどのチームはデータセンターに落ち着き、最も困難な作業はローテーティングレジデンシャルに手を伸ばす。
FAQ
ISPプロキシとデータセンタープロキシの違いは何か。 そのIPを所有するASNの違いである。データセンターIPはホスティングプロバイダーに属し、ボット対策システムにフラグを立てられる。ISP IPは消費者向けISPに登録されているため、レジデンシャルの信頼性を持つ。ISPプロキシはデータセンターのインフラ上でホストされているため、レジデンシャルに見えながらもデータセンターの速度を維持する。
ISPプロキシはデータセンタープロキシより優れているか。 一律に優れているわけではなく、保護されたターゲットに限られる。ボット対策のないサイトでは、データセンタープロキシがより低コストで同じ仕事をこなす。ISPプロキシが特に「優れている」のは、ターゲットがレジデンシャルの信頼性を確認する場合であり、そこはデータセンターIPがブロックされる場面である。
ISPプロキシはデータセンタープロキシより速いか。 ほぼ同じ速さであり、それより速いわけではない。どちらも高速なインフラを持つデータセンターでホストされているため、同じ速度クラスに位置する。ISPプロキシの速度が注目されるのは、消費者デバイスを経由するために速度が遅いローテーティングレジデンシャルプロキシとの比較においてである。
データセンタープロキシはなぜあれほどブロックされやすいのか。 そのASNによって正体が露呈するからである。Cloudflare、Akamai、DataDomeなどのシステムはホスティングプロバイダーのASNのリストを保持しており、そこからのトラフィックをデフォルトで自動化として扱う。しばしばリクエストがヘッダーを送信する前にそう判断される。ISP IPはASNが消費者向けISPに属しているため、このチェックを通過する。
スクレイピングにおいてISPはデータセンターより安いか。 IPあたりでは、いいえ、データセンターの方が安い。保護されたターゲットでの成功ページあたりでは、通常ISPの方が安い。データセンターIPはほとんどのリクエストをブロックによって無駄にするためである。IPあたりのコストではなく、結果あたりのコストで比較すべきである。
ISPではなくローテーティングレジデンシャルを使うべきなのはいつか。 ターゲットの防御があまりに厳重で、静的レジデンシャルIPさえ焼き潰されてしまう場合、あるいは非常に大規模で多様なプールにリクエストを分散させる必要がある場合である。ローテーティングレジデンシャルは、ISPの速度と静的な安定性を、最大の信頼性とプール規模と引き換えにする。
The bottom line
大規模スクレイピングにおけるISPとデータセンターの選択は、ターゲットに関する一つの事実、すなわち「反撃してくるかどうか」に帰結する。防御の弱いターゲットに対しては、データセンタープロキシの方が安価かつ高速であり、それ以上の費用を払う必要はない。防御されたターゲットに対しては、データセンターIPはASNでブロックされ、ISPプロキシは通過する。IPあたりの高い価格は、成功率によって十分に見合う。
ターゲットが保護されていて、速度、安定性、静的IPを犠牲にすることなくレジデンシャルの信頼性が必要な場合、ShifterのISPプロキシはまさにそのために作られている。無制限の帯域幅、ギガビット級の速度、静的レジデンシャルIPを備える。最も困難なターゲットも扱う必要がある場合は、同じアカウントで最大の信頼性とプール規模が必要な際に使えるローテーティングレジデンシャルプロキシも利用できる。IPの種類をターゲットに合わせれば、成功率とコストパフォーマンスは自然と改善する。