レジデンシャルプロキシネットワークの比較の多くは、最初のリクエストを送る前に結果が決まっています。あるプロバイダーは月曜日に、別のプロバイダーは金曜日にテストされます。一方には簡単なターゲットが、もう一方には難しいターゲットが割り当てられます。一方はステータスコードで評価され、もう一方はページが実際に読み込まれたかどうかで評価されます。結果は測定のように見えますが、実際にはテストの設定の仕方を反映しているにすぎません。
このガイドでは、その設定を適切に行う方法を説明します。Shifterのレジデンシャルプロキシを現在のプロバイダーと比較して試す場合でも、使ったことのない3つのネットワークから選ぶ場合でも、ルールは同じです。そしてこれらは、Atlasがテストするすべてのネットワークに適用しているルールでもあります。
唯一のルール: 同じリクエスト、同じターゲット、同じ時間枠
このガイドの他の内容はすべて、1つの原則から導かれます。比較に含まれるすべてのネットワークに、同じリクエストを、同じターゲットに、同じ場所から、同じ時間に送らなければなりません。
見落とされやすいのが「同じ時間」の部分です。ターゲットサイトの防御は時間単位で変わります。レジデンシャルIPのプールは一般消費者の接続の集まりで、1日の中で増減します。ネットワークAを正午に、ネットワークBを真夜中にテストすれば、比較しているのは2つのネットワークではなく2つの時刻です。両方を同時に実行するか、同じ実行の中でリクエストを交互に送り、ターゲットやインターネットの状況が両方に等しく影響するようにしてください。
Atlasはこれを必須条件として適用しています。すべてのネットワークに同じスケジュールを割り当て、結果は同じ重みを持つ時間スロットごとにまとめます。そのため、空いている時間帯にテストされただけでネットワークが良く見えることはありません。具体的な方法は、メソドロジーページのウィンドウルールに詳しく記載しています。
テストの前に合格ルールを書いておく
比較には、ネットワークに依存しない成功の定義が必要です。何かを送信する前に、ターゲットごとに書面で決めておいてください。
- **HTMLページの場合、**成功とは解析できる特定の要素があることです。たとえば価格、商品タイトル、1件以上の結果を含む検索結果リストなどです。
- **APIの場合、**必要なフィールドを含むJSONレスポンスが返ることです。
- **検索ページの場合、**空のページや同意画面ではなく、検索結果が表示されることです。
ルールを満たさないものは、ステータスコードにかかわらずすべて失敗です。CAPTCHAやインタースティシャルは通常HTTP 200で返ってくるため、この点は重要です。ステータスコードだけを数えるテストでは、リクエストの多くがチャレンジを受けているネットワークでも、ほぼ完璧な成功率が報告されてしまいます。失敗は発生のたびに分類してください(チャレンジ、ブロック、タイムアウト)。合計よりも内訳のほうが多くのことを教えてくれます。
自分の業務に近いターゲットを選ぶ
防御のないテスト用エンドポイントでは、どのネットワークも優秀だという結果になります。それは事実ですが、役に立ちません。レジデンシャルプール同士の差は、積極的に防御しているサイトでしか現れず、サイトごとに異なる形で現れます。
実際にスクレイピングや検証を行う対象に似たターゲットを少数選び、難易度に幅を持たせてください。対照としての開かれたページ、マーケットプレイス、検索エンジン、そして依存している中で最も難しいサイトです。結果は平均だけでなく、ターゲットごとに読んでください。Atlasの各テストターゲットでの成功率を見ると、サイトが変わるとネットワークの順位がどれだけ入れ替わるかがわかります。
ターゲット側から測定する
細部に見えて、結果が信頼できるかどうかを左右する点が2つあります。
**ターゲットが見た出口IPを記録してください。**プロバイダーのダッシュボードが報告するアドレスではなく、実際にターゲットに到達したアドレスを、各リクエストで返すか記録するようにします。ダッシュボードはキャッシュされていたり、出口ではなくゲートウェイを示していたり、単に間違っていたりすることがあります。プールの規模、位置情報の精度、重複について後から述べることはすべて、このフィールドにかかっています。
**出口を自分で調べてください。**リクエスト時点の公開データベースを使って、各アドレスを国、都市、ASNに対応付けます。レジデンシャルとして販売されているプールにホスティング用のアドレスが含まれていないか、ある国を指定したリクエストが別の国から出ていないかは、この方法で確認できます。
実際に運用するボリュームでテストする
アイドル時のレイテンシーは、稼働時のレイテンシーではありません。多くのゲートウェイは、少数のリクエストでは高速でも、持続的な同時接続では目に見えて遅くなります。そして実際の運用で置かれるのは、まさにその状態です。
テストの少なくとも一部は、本番で使う予定の同時接続数で実行し、平均ではなくパーセンタイルで報告してください。中央値は典型的なリクエストについて教えてくれ、遅いテールは作業が時間内に終わるかどうかを教えてくれます。本番で変更する予定がない限り、各プロバイダーのセッションとローテーションの設定は既定値のままにしてください。そうすれば、誰も使えない構成ではなく、販売されている状態の製品を測定できます。
意味を持つだけのデータを集める
ネットワークごとに数十件のリクエストでもランキングは作れますが、再実行しても変わらないものにはなりません。サンプルが小さいと偶然に左右され、1つのターゲットでの悪い1分間が結果を大きく動かすことがあります。
リクエストはターゲット全体に均等に分散させ、空いている時間帯と混んでいる時間帯の両方を含む十分に長い時間枠にわたって送ってください。小さな差に基づいて判断する前に、別の日に比較をやり直してください。順位が入れ替わるなら、ネットワークは拮抗しているので、価格やサポートで決めるのがよいでしょう。その際、各ネットワークから割り当てられた異なる出口IPの数も数えてください。冗長化のために2つのプロバイダーを使う予定なら、それらの集合の共通部分を取ってください。アドレスの大半を共有している2つのネットワークは、2つの供給元とは言えないからです。
コストは最後に比較する
成功が公平に測定されて初めて、価格に意味が生まれます。各ネットワークでトラフィックにかかる費用を、ルールに合格したリクエスト数で割ってください。失敗したリクエストにも課金されるため、料金表が安くても合格率が低ければ、最も高くつく選択肢になることがあります。成功リクエストあたりのコストのガイドで、計算方法を順を追って説明しています。
公平なテストのチェックリスト
- すべてのネットワークに、同じリクエスト、同じターゲット、同じ場所、同じ時間枠を使う。
- ターゲットごとの合格ルールを、テスト前に書面で決めておく。
- 失敗をチャレンジ、ブロック、タイムアウトに分類する。
- 難しいものを含め、実際の作業負荷に近いターゲットを使う。
- 出口IPをターゲット側から記録し、独自に調べる。
- テストの一部を本番の同時接続数で実行し、レイテンシーのパーセンタイルを見る。
- セッションとローテーションの設定はプロバイダーの既定値を使う。
- 再実行に耐えられるだけのリクエスト数と時間数を確保する。
- 成功リクエストあたりのコストは最後に計算する。
測定そのものに使える実際のコードが必要な場合は、レジデンシャルプロキシの速度、成功率、位置情報の精度のテストに関する記事に、応用できるスクリプトがあります。Atlasはこのチェックリスト全体を継続的に実行しており、並列比較ページでは、Atlasがテストしている任意のネットワークを並べて比較してから、トライアルに進むことができます。