オンラインで何かをしようとしてブロックされた、あるいはチュートリアルで理由の説明もなくレジデンシャルプロキシが必要だと言われた、そうした事情でここに来たのであれば、ここが出発点です。前提知識は一切不要で、説明なしに専門用語が出てくることもありません。
プロキシが実際に行うこと
通常、あなたのコンピュータはウェブサイトに直接接続し、ウェブサイトはあなたのIPアドレス、つまりインターネットプロバイダがあなたの接続に割り当てた番号を見ます。プロキシはその間に入ります。あなたはリクエストをプロキシに送り、プロキシがそれをウェブサイトに転送し、ウェブサイトはあなたのアドレスの代わりにプロキシのアドレスを見ます。
仕組みはこれだけです。それ以外はすべて、誰のアドレスを借りるかという話になります。
アドレスの種類が重要な理由
ウェブサイトはアドレスがどこから来たかによって扱いを変えており、これが初心者を驚かせる部分です。
データセンターのアドレスは、サーバーが置かれるようなホスティング会社に属しています。安価で高速ですが、明らかに人間ではありません。そのアドレス範囲は公開登録されているため、ウェブサイトはリクエストがサーバーから来たものだと即座に判別でき、多くのサイトはそれをブロック、チャレンジ、あるいは異なるコンテンツを提供する理由とします。
レジデンシャルのアドレスは、実際の家庭用インターネット接続に属し、コンシューマ向けプロバイダが各家庭に割り当てたものです。ウェブサイトから見ると自宅から閲覧している普通の人物のように見えるため、データセンターのアドレスでは通用しないサイトでも機能します。これらは接続の共有に同意した人々から提供されており、そのため高価になります。データセンターのアドレスとは異なり、供給には限りがあるからです。
他にも種類はあり、用語の全体は用語集にまとめられていますが、初心者に必要な知識のほとんどはこの区別でカバーできます。
実際に必要になる場面
レジデンシャルプロキシがコストに見合うのは、あなたの作業が次の2つのいずれかに依存している場合です。
他の場所にいる人々が見ているものを見ること。 価格、検索結果、商品の在庫状況、広告は国ごと、しばしば都市ごとに異なります。ドイツの顧客が何を見ているかを知る必要がある場合、ドイツから問い合わせる必要があり、ドイツのレジデンシャルアドレスがその手段です。これは価格モニタリング、自社のサイトや広告が他の市場でどう表示されるかの確認、地域によって変わる調査データの収集をカバーします。
単一の接続では処理できない規模で公開データを収集すること。 どのサイトも単一のアドレスからの数千件のリクエストに気づき、拒否し始めます。その量を多数のアドレスに分散させることで、大規模な収集作業が機能し続けます。
どちらにも当てはまらない場合、レジデンシャルプロキシはまったく不要かもしれません。防御されていない対象や自社インフラであれば、より安価なデータセンターのアドレスで問題なく、不要な場面でレジデンシャルを使うのは単に割高になるだけです。正直な比較はレジデンシャル対データセンターにあります。
2つの動作パターン
これは最も混乱を招きやすい概念ですが、一度説明すれば単純です。
ローテーティングとは、リクエストごとに異なるアドレスを経由することを意味します。これがデフォルトであり、データ収集にとって正しい選択です。なぜなら、リクエストを多数のアドレスに分散させることこそが、どの1つも注目を集めないようにする方法だからです。
スティッキーとは、一定期間同じアドレスを維持することを意味します。サイトがリクエスト間であなたを記憶している場合、たとえばログイン、複数ページにわたる検索の途中、あるいは途中でアドレスが変わると別人が現れたように見えてしまう場面では、これが必要になります。ユーザー名にセッション識別子を追加することで取得でき、一定時間が経過するとローテーションします。
ほとんどのプロジェクトは両方を使います。大量収集にはローテーティングを、一連の手順を伴う部分にはスティッキーを使います。詳しくはスティッキー対ローテーティングをご覧ください。
料金の支払い方
レジデンシャルプロキシは、使用するアドレスの数ではなく、ギガバイト単位で計測される転送データ量に基づいて課金されます。これは意外に思われがちな点です。というのも、IPの数は購入対象ではなく、見積もるべきものは帯域幅だからです。
実務上の帰結として、何回リクエストするかよりも何を取得するかの方が重要になります。ページの基礎データを取得するだけなら数キロバイトですが、画像やフォント、スクリプトをすべて含めてブラウザでページを完全に読み込むと数メガバイトになることもあります。同じ作業を後者の方法で構築すると、コストが100倍になることもあります。このトレードオフについては帯域幅の見積もりと帯域幅コストの削減で扱っています。
最初のリクエスト
必要なものは4つです。ホスト、ポート、ユーザー名、パスワードです。ホストとポートは変わりません。ターゲティングはユーザー名に含めます。
# 最もシンプルな例: ローテーティング、地域指定なし
curl -x customer-USERNAME:PASSWORD@p.shifter.io:443 https://ipinfo.io/json
# 同じリクエストだが、ドイツ経由で出る場合
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://ipinfo.io/json最初のコマンドを2回実行すると、異なる2つのアドレスが表示されるはずで、これによりローテーションが機能していることを確認できます。スティッキーセッションや都市ターゲティングを含む完全なフォーマットは、レジデンシャルプロキシへの接続方法にあります。
初心者がやりがちな4つの間違い
プロキシだけでブロック問題が解決すると期待すること。 アドレスはいくつかあるシグナルの1つにすぎません。リクエストがそれ以外の点でブラウザらしく見えなければ、それでもブロックされる可能性があり、次に修正すべきはたいていヘッダーです。
速度を上げすぎること。 新しいユーザーはコードが許す限りの速さでリクエストを送りがちですが、それがブロックされる最速の道です。意図的に速度を落としましょう。控えめなペースは礼儀の問題であるだけでなく、成功率を高く保つことにもつながります。レート制限とスロットリングを参照してください。
200レスポンスを信用すること。 ページは「成功」を返しながらも、チャレンジや空の結果、あるいは求めていたものの汎用版を含んでいることがあります。データとして扱う前に、内容が期待通りかを確認してください。ブロックされたコンテンツや偽のコンテンツの検出を参照してください。
データが直接取得できるにもかかわらず、ページ全体を読み込むこと。 多くのサイトは、ブラウザのネットワークパネルで確認できる基礎的なエンドポイントからコンテンツを取得しています。それを直接呼び出す方が速く、解析もシンプルで、コストも大幅に抑えられます。この判断についてはヘッドレスブラウザが必要な場合で扱っています。
正しい側にとどまること
プロキシは、あなたのリクエストがどこから来たように見えるかを変えます。あなたに許可されていることを変えるわけではありません。公開データを収集し、各サイトの利用規約やrobotsの指示を尊重し、リクエストの頻度を控えめに保ち、個人データの扱いには注意してください。地域によって正当に異なるコンテンツにアクセスすることは通常の業務ですが、自分に適用されるべき制限を回避するためにプロキシを使うことはそうではなく、ツール自体がその違いを変えることはありません。適法な枠組みについては位置情報制限の合法的な回避にあります。
次に進むべき場所
最初のリクエストが動作したら、規模感をつかむには適切なプランの選び方、誰かにその質問をされたら実際に必要なプロキシIPの数、まだ検討中であれば購入前にテストすべきことを参照してください。何か問題が起きたときは、IPがローテーションしないと407エラーの修正が最もよくある2つの初期トラブルをカバーしています。
結論
プロキシはリクエストを転送し、サイトがあなたのアドレスではなくプロキシのアドレスを見るようにします。レジデンシャルプロキシは実際の家庭用接続を借りるため、通常の訪問者として扱われます。特定の場所にいる人々が見ているものを見ることに作業が依存している場合、あるいは単一の接続では維持できない量の公開データを収集する場合に、これが必要になります。デフォルトではローテーションを行い、サイトが一連の操作を追跡している場合はスティッキーセッションを維持し、転送したデータに対して料金を支払うことを忘れずに、つまり取得量を減らすことがコストを左右する主なレバーです。まずは単純な1回のリクエストから始めてローテーションを確認し、その後1つずつフラグを追加してターゲティングしていきましょう。
準備ができたら、レジデンシャルプロキシは、ここで説明した国や都市のターゲティング、ローテーション、スティッキーセッションを1つの接続で提供し、GB単位の料金体系により、小さな最初のプロジェクトも小さなコストで済みます。