用語集

IP ローテーションとは何か?

IP rotationとは、送信リクエストのソースIPアドレスを一定の周期(リクエストごと、時間ウィンドウごと、またはセッションごと)で切り替えることで、トラフィックを多数のIPに分散させ、IPごとのレート制限を回避する手法です。

オペレーターがデータ収集をスケールするために使用するローテーション戦略、リクエストごとのローテーションがほとんどのレートリミットを回避する理由、およびスティッキーバインディングが必要な場面を理解する。

解説

IP rotationとは、送信リクエストが発信元として見せるパブリックIPアドレスを変更する技術であり、通常はローテーティングプロキシプールを経由してルーティングすることで実現します。目的は、トラフィックを多数の異なるIPに分散させ、接続先サイトのIPごとのレート制限が全体のトラフィック量ではなくその一部にのみ適用されるようにすることです。

Rotationは3つの周期のいずれかで動作します。リクエストごと(すべてのHTTPリクエストに新しいIPが割り当てられる)、時間ベース(IPをN分間保持してからローテーション)、またはセッションベース(クライアントが特定のセッションを維持している間IPを保持し、その後解放)。各戦略はIPの多様性とセッションの継続性の間でトレードオフが生じます。

IP rotationは、大規模なウェブスクレイピング、広告検証、価格モニタリング、競合インテリジェンスのパイプラインほぼすべての基盤となる技術です。rotationがなければ、中程度のスクレイピング量でも、現代のほとんどのウェブサイトでIPは数分以内に使用不能になります。

仕組み

クライアントはローテーションプロキシゲートウェイに接続します。送信するリクエストごとに、ゲートウェイは設定したジオフィルターとローテーションポリシーに基づいてプールから出口 IP を選択し、その IP 経由でリクエストを転送します。送信先サイトは選択された IP からのリクエストとして認識し、正常に応答します。ゲートウェイはレスポンスを返し、次のリクエストでは別の IP を選択します。

プロバイダーは通常、プロキシのユーザー名を通じてローテーションポリシーを公開します(例:米国でのスティッキーセッションの場合は `customer-USER-country-us-session-12345`、デフォルトのリクエストごとのローテーションの場合は単に `customer-USER`)。セッション ID を使用することで、エンドポイントを変更せずにオンデマンドでスティッキー性を選択できます。

リクエストごとのローテーション

HTTP リクエストごとに新しい IP。最大の多様性を実現し、セッションの継続性が不要な独立ページスクレイピング(検索結果、商品リスティング)に使用されます。

時間ベースのローテーション

IPをローテーションする前に固定の時間枠(1分、5分、10分、30分)保持します。一定の継続性(複数ページの閲覧)が必要でありながら、単一IPでの露出を制限したい場合に有効です。

セッションベースのローテーション(スティッキーセッション)

クライアントが特定のセッションIDを使用している間はIPを保持し、その後解放します。ログインフロー、複数ページのチェックアウト、ワークフロー全体で同一のIPが表示される必要があるあらゆるワークフローに最適です。

主な使用事例

保護されたサイトでのIP単位のレート制限の回避
プールへのスクレイピング量の分散
各クエリに新鮮な IP が必要な SERP スクレイピング
広告掲載確認1件につきIP1つを使用したAd verification
単一のIPがフラグを立てられたりブロックされたりする可能性を低減する
ターゲットのToSレートガイダンスへの準拠のためのトラフィック分散
FAQ

よくある質問

よくある質問: ip rotation.

ローテーションをターゲットのレート制限ウィンドウに合わせる。ターゲットが1分あたりIP1つにつき60リクエストのレート制限を設けている場合、リクエストごとにローテーションすることで実質的に無制限のスループットが得られます。制限が不明な場合はデフォルトでリクエストごとのローテーションを使用し、ワークフローにセッションの継続性が必要な場合にのみスティッキーセッションに切り替えてください。

リクエストごとのローテーションは、IPに紐付いたセッション(ログイン状態、IPピン留めクッキー、IPバインドCSRFトークン)を破壊します。セッションベースのワークフローでは、セッションIDを使ったスティッキーセッションを使用し、ゲートウェイがトラフィックを1つのIPに固定するようにしてください。

有効性はプールの多様性によってスケールし、単純な数ではありません。数千IPのローテーションプールは、ほとんどの中規模スクレイピングに十分です。大量または積極的なアンチボット対策が施されたターゲットの場合、Shifterの数百のサブネットにまたがる2億500万以上のレジデンシャルIPのような、はるかに大きなプールへのアクセスが必要です。

密接に関連していますが、同一ではありません。IP ローテーションは手法であり、ローテーティングプロキシはそれを実装するサービスです。独自のプールを維持することで IP ローテーションを手動で行うことも可能ですが、実際にはほぼすべてのユーザーが、プール管理、ヘルスチェック、および選択ロジックを処理するローテーティングプロキシプロバイダーを利用しています。

サイトは大まかなローテーションパターンを検出できます(1人のユーザーエージェントやブラウザフィンガープリントが数秒のうちに数百のIPを移動するのは明らかな兆候です)。効果的なローテーションは、IPローテーションとヘッダーローテーション、フィンガープリントの衛生管理、リアルなリクエストペーシングを組み合わせることで、結果として得られるトラフィックプロファイルが1人のユーザーが多数のIPを使用しているのではなく、多数の独立したユーザーのように見えるようにします。

はい、IPローテーション自体は合法です。これはトラフィックをルーティングするための単なる技術です。合法性は、ローテーションされたIPで何をするかによって異なります。公開データのスクレイピングはほとんどの法域で広く合法ですが、認証の回避やコンピューター不正使用法の違反は合法ではありません。