レジデンシャルプロキシとは、インターネットサービスプロバイダ(ISP)が実際の家庭用回線に割り当てたIPアドレスを経由してリクエストを送信するプロキシサーバーのことです。受信側のウェブサイトから見ると、そのリクエストはクラウドサーバーやデータセンターではなく、一般家庭から送られてきたように見えます。
これがすべての要点であり、重要なのは、多くのウェブサイトがトラフィックの送信元によって扱いを変えるからです。家庭用ブロードバンドIPからのリクエストは通常の訪問者として扱われます。一方、既知のサーバー範囲からの同じリクエストは、速度を落とされたり、チャレンジされたり、ブロックされたりすることがよくあります。だからこそ、大規模に公開ウェブデータを収集するチームは、レジデンシャルプロキシ経由でトラフィックを流すのです。
レジデンシャルプロキシの仕組み
プロキシは、アプリケーションとウェブサイトの間に位置します。スクレイパー、ブラウザ、APIクライアントがリクエストをプロキシプロバイダのゲートウェイに送信します。プロバイダはそれをレジデンシャルIP経由で転送し、レスポンスをあなたに返します。
ウェブサイトからはレジデンシャルIPしか見えません。どの家庭用IPとも同様に、その発信元に関する公開情報、つまり国、都市、インターネットプロバイダ、そしてしばしば地域を明らかにします。あなた自身のマシンとそのアドレスは、その背後に隠されたままです。
これにより、データ収集において重要な2つの要素をコントロールできます。
- ロケーション。 リクエストがどこから来ているように見せるかを選べます。優れたプロバイダでは、国、都市、あるいは特定のプロバイダネットワーク(ASNターゲティングと呼ばれます)を指定できます。
- セッションの挙動。 IPを変化させるか、同じままにするかを選べます。
ローテーティングセッションとスティッキーセッション
レジデンシャルプロキシには2つのセッションモデルがあります。
ローテーティングセッションは、リクエストごと、または設定した間隔ごとに新しいIPを割り当てます。トラフィックがプール全体に分散されるため、1つのアドレスが目立つほどのリクエストを負担することはありません。これは、商品ページや検索結果のような、互いに独立したリクエストに適しています。
スティッキーセッションは、一定期間同じIPを維持します。ログイン、ショッピングカート、ページ分割された結果など、リクエスト同士が依存し合うフロー、あるいは突然のロケーション変更が不審に見えてしまうような場面では、これが必要になります。
ほとんどのプロバイダは、バックコネクトゲートウェイと呼ばれることもある1つのゲートウェイを通じて両方を提供しています。1つのホストとポートに接続するだけで、ゲートウェイが出口IPを選びます。ローテーティングプロキシの仕組みについてのガイドで、設定の詳細を解説しています。
レジデンシャル vs. データセンター vs. ISPプロキシ
データセンタープロキシは、ホスティング会社やクラウド企業が所有するIPを使用します。1台のサーバーから同じサブネット内で数千ものIPを提供できます。高速で安価ですが、ウェブサイト側はそれがサーバーに属することを見抜けるため、厳格なサイトではすぐにブロックされます。共有データセンタープロキシは複数の顧客が同時に使用し、プライベートなものは1人の顧客専用です。
レジデンシャルプロキシは、ISPが家庭に割り当てたIPを使用します。より厳格なウェブサイトでも受け入れられ、ローカルの訪問者が見るのと同じようにコンテンツを表示させます。トレードオフとして、ギガバイトあたりの価格が高く、レイテンシもサーバーより変動しやすくなります。
ISPプロキシはその中間に位置します。消費者向けインターネットプロバイダに登録されていながらサーバー上で動作するため、特定の都市やプロバイダネットワーク内での長時間セッションにおいて高速かつ安定しています。
価格差は見た目ほど大きくありません。安価なプロキシタイプを使った結果ブロック、リトライ、失敗したジョブが発生すれば、節約分は消えてしまいます。詳細な比較はレジデンシャルプロキシとデータセンタープロキシをご覧ください。
ウェブサイトがレジデンシャルIPを異なる扱いにする理由
アンチボットシステムが単一のシグナルだけを見ることはほとんどありません。IPタイプ、プロバイダネットワーク、リクエストレート、セッションの挙動、ブラウザフィンガープリント、クッキー、ロケーションの一貫性など、複数の要素を組み合わせてスコアを算出します。
レジデンシャルIPは通常の消費者トラフィックのパターンに合致します。小売業者、検索エンジン、マーケットプレイスは、既知のデータセンター範囲からであれば即座にチャレンジを発動するようなリクエストでも、家庭用回線からのものであれば通常は受け入れます。一部のサイトはさらに踏み込み、自動化されたと判断したトラフィックには誤ったデータや不完全なデータを表示するため、IPタイプは収集するデータの品質にも影響します。
ただし、IPだけでは十分ではありません。速すぎるリクエスト、欠落したヘッダー、不適切なセッションロジックは、それでもブロックされる可能性があります。レジデンシャルプロキシはネットワークシグナルを改善しますが、優れたスクレイピングの実践に取って代わるものではありません。
レジデンシャルプロキシの用途
チームは、公開ウェブコンテンツへの信頼性の高いローカルアクセスが必要な場面であれば、どこでもレジデンシャルプロキシを利用します。
- ウェブスクレイピングと市場調査。 サーバートラフィックをフィルタリングするサイトから、商品リスト、レビュー、公開データを収集する。
- 価格モニタリング。 ECサイト分野における中核業務として、各市場の顧客が目にするのと同じように競合の価格やプロモーションを追跡する。
- 広告検証。 広告が正しい場所・国に表示されているかを確認し、不正を検出する。
- SEOとSERP追跡。 各国・各都市で表示される検索結果を確認する。
- ソーシャルメディア管理。 それぞれが一貫したロケーションを持つ複数のアカウントを運用する。
- ローカライズテスト。 ウェブサイト、アプリ、チェックアウトが他国のユーザーにどう動作するかを確認する。
- セキュリティとブランド保護。 通常の訪問者の視点から、フィッシング、偽造品、不正を調査する。
必要ない場合
寛容なウェブサイトでの軽めの作業であれば、レジデンシャルプロキシはオーバースペックになることがあります。サイトがネットワークの発信元でフィルタリングを行わず、データがロケーションによって変わらない場合、データセンタープロキシやISPプロキシの方が通常は高速で安価です。最適な選択は、対象サイト、ワークロードの形態、1件の成功リクエストが持つ価値によって決まります。
レジデンシャルプロキシプロバイダを選ぶ際に確認すべき点
プール規模はプロバイダが真っ先に宣伝する数値ですが、大規模なネットワークも本番環境で機能しなければ意味がありません。以下の点を確認してください。
- ライブカバレッジ。 プール全体の数ではなく、必要な国で実際にオンラインになっているIPがいくつあるか。私たち自身のベンチマークでは、測定した16ネットワークの中でShifterが最大のライブ米国レジデンシャルプールを持っていました。
- ターゲティング。 最低でも国、データがローカルなものであれば都市やプロバイダネットワークも。
- セッション制御。 リクエストごとに簡単に設定できるローテーティングセッションとスティッキーセッション。
- 同時接続数。 すべてのワーカーに十分な並列接続数。
- 統合のしやすさ。 ユーザー名とパスワードによる認証を伴う標準的なHTTPおよびSOCKS5のサポートにより、既存のツールにそのまま組み込める。
- IPの調達方法。 侵害されたデバイスからではなく、回線の共有に同意した人々から得たIP。
- 価格設定。 収集データ量に応じたコストになる、明確なギガバイト単位のプラン。各プランはレジデンシャルプロキシの価格ページで比較できます。
よくある誤解
「レジデンシャルプロキシはスクレイピング専用だ。」 テスト、広告チェック、セキュリティ調査、モニタリングなど、公開ウェブコンテンツへの信頼性の高いローカルアクセスを必要とするあらゆるワークフローをサポートします。
「IPが多ければ多いほど結果が良くなる。」 大きなプールは有用ですが、ルーティングが弱かったり、ターゲティングやセッション制御が欠けていたりすれば意味がありません。
「レジデンシャルトラフィックは見えない。」 そうではありません。ウェブサイトは依然として挙動を分析します。優れたプロキシはネットワークシグナルを改善しますが、不自然で現実離れしたリクエストパターンはそれでも検出されます。
まとめ
レジデンシャルプロキシは、リクエストに実際の家庭用回線のIPを付与するため、ウェブサイトは選んだロケーションの通常の訪問者としてそれを扱います。独立したリクエストを分散させるにはローテーティングセッションを、複数ステップのフローにはスティッキーセッションを使用してください。生の帯域幅コストよりもアクセス品質とローカルな正確さが重要な場合は、レジデンシャルプロキシを選び、ライブカバレッジ、ターゲティング、セッション制御、IPの調達方法でプロバイダを評価してください。