用語集

ローテーティングプロキシとは何か?

ローテーティングプロキシとは、利用可能なIPのプールから引き出すことで、各リクエスト(または一定の時間間隔)に自動的に異なるIPアドレスを割り当てるプロキシサービスです。

ローテーションプロキシがプール全体にトラフィックを分散する仕組み、リクエストごとのローテーションがレートリミットを回避する理由、およびローテーションが逆効果になる場面を理解する。

解説

ローテーティングプロキシは、単一のプロキシではなくサービスレベルの概念です。1つのIPを提供する代わりに、IPのプールへのアクセスを提供し、ゲートウェイは送信する各リクエスト(またはタイマーでローテーション)に異なるIPを選択します。宛先サイトには多くの異なるIPからのリクエストのストリームが届き、これがIP単位のレート制限に対する最も効果的な防御策です。

ローテーティングプロキシサービスは、ゲートウェイが引き出せる数億件の消費者IPで構成される基盤プールを持つ住宅プロキシの上に構築されるのが最も一般的です。各リクエストは独立して見えます。ゲートウェイは1つの接続を終了し、新しい出口IPを選択し、次のリクエストのために新しい接続を開くため、ターゲットサイトはあなたのアクティビティを単一のソースに追跡できません。

トレードオフはセッションの継続性です。複数のリクエストにわたって同じIPを必要とするもの(ログインフロー、複数ページのチェックアウト、IPバインドされたCSRFトークン)は、リクエスト単位のローテーションでは機能しなくなります。そのような場合には、ローテーションの前に定義されたウィンドウの間1つのIPを保持するスティッキーセッションを使用します。

仕組み

ローテーティングプロキシゲートウェイに接続すると、一度認証を行い、単一のエンドポイントに対するようにリクエストを送信します。ゲートウェイは利用可能な出口IP(製品によってレジデンシャル、ISP、またはモバイル)のプールを管理します。受信リクエストごとに、ランダム、ラウンドロビン、またはジオ/ヘルスフィルターに基づいてIPを選択し、そのIPを通じてリクエストを転送します。

送信先サイトには、すべてのリクエストが同じクライアントから発信されているにもかかわらず、N個の異なるIPからのNリクエストとして見えます。ゲートウェイはすべての接続管理、IPヘルスチェック、およびローテーションロジックを処理するため、クライアントの観点からは、リクエストごとに異なるソースIPを「魔法のように」返す単一のプロキシアドレスとなります。

リクエストごとのローテーション

リクエストごとに新しい IP が割り当てられます。最大の多様性を実現し、各ページが次のページと無関係な大量の独立スクレイピングに最適です。

時間ベースのローテーション

IPは固定の時間枠(例:5分)保持された後にローテーションされます。セッションの継続性をある程度確保しながら、長期的な固定割り当てを避けたい場合に有効です。

スティッキー後ローテート(セッション対応)

クライアントが特定のセッションID(ユーザー名またはヘッダーとして渡される)を使用している間はIPが保持され、クライアントが新しいセッションに移行すると解放されます。ワークフロー単位の安定性とワークフロー単位のIP多様性を両立します。

主な使用事例

大規模ウェブスクレイピング(数百万ページ)
検索エンジンのSERPスクレイピング(キーワードごとのIP ローテーション)
数千点の商品にわたる価格モニタリング
パブリックAPIにおけるIP単位のレート制限を回避する
分散型ヘルスチェックと広告検証
保護されたターゲットでのIPベースのスロットリングの回避
FAQ

よくある質問

よくある質問: ローテーティングプロキシ.

各リクエストが独立している場合(無関係なページの大量スクレイピング、キーワードごとのSERPスクレイピング)にはローテーティングプロキシを使用します。ログインフロー、ページネーションされた検索結果、複数ページにわたるチェックアウトなど、複数のリクエストで同じIP が必要なワークフローにはスティッキーセッションを使用します。

はい。Shifterのレジデンシャルプロキシゲートウェイは2億500万以上のresidential IPプールから接続を引き出し、デフォルトでリクエストごとにローテーションします。セッションの継続性が必要な場合は、スティッキーセッションを設定することもできます。

リクエストごとのローテーションは自動で行われます。ゲートウェイはリクエストごとに新しいIPを選択します。ローテーション自体にレート上限はありません。スループットはネットワーク遅延とアカウントの帯域幅ティアによって制限されますが、ローテーションロジックによるものではありません。

はい、それが主な注意点です。リクエスト毎のローテーションは、各リクエストが異なるIPから送信されることを意味するため、IPに紐づいたセッション状態が破壊されます。ログイン済みのワークフローでは、スティッキーセッションまたはセッション中同一IPを保持するISPプロキシに切り替えてください。

「レジデンシャルプロキシ」とは、基盤となるプールがレジデンシャル IP であることを指します。「ローテーティング」はローテーション動作を説明するだけであり、レジデンシャル、データセンター、モバイル、またはISPプールに適用できます。現代のローテーティングプロキシサービスの多くはレジデンシャルプロキシです。なぜなら、保護されたサイトで高い成功率をもたらすのはそのIP タイプだからです。

ゲートウェイは通常、ジオフィルター(指定した国 / 都市 / ASN への一致)、IP の健全性(最近フラグが立てられた IP の除外)、ロードバランシングの組み合わせに基づいてプールから選択します。正確な選択アルゴリズムはプロバイダー固有ですが、セッション ID を使用したスティッキーセッションを利用した場合にのみ決定論的な結果が得られます。