用語集

IPプールとは何か?

IPプールとは、プロキシプロバイダーが顧客トラフィックの出口IPとして割り当て可能なIPアドレスの集合であり、通常は多数のサブネット、ASN、および地域にまたがっています。

プロキシプールを有用にする要素(規模、多様性、鮮度、地域カバレッジ)、一定のしきい値を超えるとプールの品質がプールの規模を上回る理由、およびプロキシプールを評価する方法を理解する。

解説

IPプールとは、プロキシゲートウェイが顧客トラフィックをルーティングできるIPアドレスの基盤となるインベントリです。ローテーティングプロキシに接続し、ゲートウェイが出口IPを選択する際、このプールから選ばれます。プールの品質は、スクレイピングや検証ワークロードの成否を左右する最大の変数です。

IPプールを評価する際に重要な要素は3つあります。サイズ(利用可能なIPの総数)、多様性(カバーする個別のサブネットおよびASNの数)、そして地域カバレッジ(対象となる国・都市・ISPの数)です。1,000のサブネットに分散した1,000万IPのプールは、50のサブネットに集中した1億IPのプールよりも一般的に効果的です。これは、アンチボットシステムが個々のIPだけでなく、サブネットおよびASNレベルでIPを追跡するためです。

鮮度も重要です。オプトイン型のSDKパートナーシップを通じて成長するレジデンシャルプールは、ユーザーがネットワークに参加・離脱するたびに継続的にIPを入れ替えます。数か月間停滞しているプールは、毎週更新されるプールに比べ、一般的なターゲットで既にフラグが立てられているIPが多くなります。

仕組み

レジデンシャルプロキシプロバイダーは、無料またはpremium機能と引き換えにユーザーがオプトインするアプリケーションやSDKと提携することでプールを維持しています。ユーザーがオンラインでSDKが有効なとき、そのデバイスはその間IPをプロキシプールに提供します。プロバイダーのゲートウェイはデバイスを利用可能な出口エンドポイントとして扱い、少量のカスタマートラフィックをそこ経由でルーティングし、ユーザーがオフラインになるとプールから除外します。

大手プロバイダーは任意の時点でアクティブプールに数百万のデバイスを維持しており、新しいデバイスが常に出入りしています。ゲートウェイはジオフィルター、IPの健全性、負荷分散に基づいて出口IPを選択し、顧客には基盤となるすべての変動を抽象化した単一のエンドポイントを提供します。

レジデンシャルIP プール

ISP が実際のコンシューマーデバイスに割り当てた IP のプールです。保護されたサイトでの信頼スコアが最も高く、現代のスクレイピングや認証作業の大部分で使用される IP タイプです。

ISP / スタティックレジデンシャル IP プール

コンシューマー ISP に登録されているもののデータセンターインフラ上でホストされている IP のプールです。レジデンシャルプロキシより規模が小さく安定しており、スティッキーワークフローに使用されます。

モバイルIPプール

4G/5G を通じてモバイルキャリアが割り当てた IP のプールです。絶対数は最も少ないですが、CGNAT により信頼性が最も高く、最も機密性の高いワークフローに使用されます。

データセンターIP プール

クラウドおよびホスティングプロバイダーの IP のプールです。安価で高速ですが、保護されたターゲットのアンチボットシステムに容易に検出されます。

主な使用事例

多様なサブネットにわたるローテーションプロキシのスループットのスケーリング
国ごとの深いカバレッジを持つ Geo ターゲットスクレイピング
大規模なフレッシュプールから接続することで、繰り返し違反によるBANを回避する
アカウントごとに1つのIPを使用したマルチアカウントワークフロー
ニッチ市場向けのロングテール都市 / ASNカバレッジ
FAQ

よくある質問

よくある質問: ip pool.

Shifterは195カ国以上にわたる2億500万以上のIPのレジデンシャルプールを維持しており、主要市場では都市レベルの粒度を提供しています。プールはデバイスのネットワークへの接続・切断に応じて継続的に更新されます。

一定のしきい値まではそうです。そのしきい値を超えると、数よりも多様性が重要になります。1000のサブネットと200のASNに分散した1000万IPのプールは、50のサブネットに集中した1億IPのプールよりも、ほとんどの検出システムがサブネット/ASNレベルでIPを追跡するため、アンチボットシステムの回避において効果的です。

住宅プロキシプロバイダーは、アプリとのオプトインSDKパートナーシップを通じてプールを拡大します。ユーザーはプレミアムアプリ機能と引き換えに、アイドル帯域幅とIP容量を共有することに明示的に同意します。ISPおよびモバイルプールは、ISPおよびキャリアとの商業パートナーシップを通じて拡大します。

健全なレジデンシャル プールでは、ユーザーがオンラインになったりネットワークを変更したりするたびに、平均的な IP が出入りします。リクエストごとに見られる「鮮度」は、各 IP が ISP によって現在のデバイスに割り当てられてからの経過時間に依存します。主要なプロバイダーは高いチャーンレートを示しており、プールの鮮度を維持しています。

ほとんどのrotating proxyプロバイダーは、背後にあるデバイスプールが常に変動しているため、プールの全リストを公開していません。レスポンスを検査するかIP-echoエンドポイントを使用することで、リクエストごとに出口IPを確認できます。

新しいIPにローテーションします。基盤となるプールのサイズと多様性が、次の試行でクリーンなIPに当たる頻度を決定します。プールが大きく多様であるほど、機能するIPを見つけるためのローテーション回数が少なくなります。Shifterのプールは、これがほとんど問題にならないように設計されています。