解説
IPプールとは、プロキシゲートウェイが顧客トラフィックをルーティングできるIPアドレスの基盤となるインベントリです。ローテーティングプロキシに接続し、ゲートウェイが出口IPを選択する際、このプールから選ばれます。プールの品質は、スクレイピングや検証ワークロードの成否を左右する最大の変数です。
IPプールを評価する際に重要な要素は3つあります。サイズ(利用可能なIPの総数)、多様性(カバーする個別のサブネットおよびASNの数)、そして地域カバレッジ(対象となる国・都市・ISPの数)です。1,000のサブネットに分散した1,000万IPのプールは、50のサブネットに集中した1億IPのプールよりも一般的に効果的です。これは、アンチボットシステムが個々のIPだけでなく、サブネットおよびASNレベルでIPを追跡するためです。
鮮度も重要です。オプトイン型のSDKパートナーシップを通じて成長するレジデンシャルプールは、ユーザーがネットワークに参加・離脱するたびに継続的にIPを入れ替えます。数か月間停滞しているプールは、毎週更新されるプールに比べ、一般的なターゲットで既にフラグが立てられているIPが多くなります。
仕組み
レジデンシャルプロキシプロバイダーは、無料またはpremium機能と引き換えにユーザーがオプトインするアプリケーションやSDKと提携することでプールを維持しています。ユーザーがオンラインでSDKが有効なとき、そのデバイスはその間IPをプロキシプールに提供します。プロバイダーのゲートウェイはデバイスを利用可能な出口エンドポイントとして扱い、少量のカスタマートラフィックをそこ経由でルーティングし、ユーザーがオフラインになるとプールから除外します。
大手プロバイダーは任意の時点でアクティブプールに数百万のデバイスを維持しており、新しいデバイスが常に出入りしています。ゲートウェイはジオフィルター、IPの健全性、負荷分散に基づいて出口IPを選択し、顧客には基盤となるすべての変動を抽象化した単一のエンドポイントを提供します。