レジデンシャルプロキシの料金ページのほとんどは、1つの数字を前面に出しています。プールの規模です。数百万のアドレス、場合によっては数千万、それ以上のこともあります。市場で最も目立つ数字であり、同時に最も確認しにくい数字です。
レジデンシャルプロキシのプランを選ぶ際、表示されているプール規模から分かることは、見た目ほど多くありません。このガイドでは、その数字が通常何を数えているのか、実際には何が手に入るのか、そして Atlas が確認可能な部分をどのように測定しているのかを説明します。
広告されるプール規模は何を数えているのか
IPプールの規模には標準的な定義がなく、その数字を監査する第三者もいません。実際には、累積の件数であることがほとんどです。提供事業者が1か月以上にわたってネットワーク上で確認した、重複のないアドレスすべてを、対応する全ての国にわたって数えたものです。
この数字には、次のようなものが含まれる場合があります。
- 一度だけオンラインになり、その後は確認されていないアドレス
- あなたが指定することのない国のアドレス
- アドレスが変わるたびに、同じ世帯が複数回数えられたもの
- 自社で調達したものではなく、パートナー経由で到達できるアドレス
これらが必ずしも不誠実というわけではありません。累積の件数は、ネットワークが扱う在庫の大きさを表す方法として妥当です。ただ、実際にリクエストに応答するアドレスの数とは同じではありません。Atlas の方法論では、次のようにはっきり述べています。広告されるプール規模は在庫を表すものであり、その性質上、検証できません。
実際に手に入るのは一部のサンプルです
ある時点で、レジデンシャルプールのうちオンラインになっているのは一部だけです。デバイスはスリープし、家庭ではルーターの電源が切られ、アドレスは再割り当てされます。オンラインのもののうち、あなたが指定した国のものだけが利用できます。さらにその中で、あなたに見えるのは、リクエスト量とゲートウェイのローテーションが許す数のアドレスだけです。
したがって、本当に意味のある問いは「プールはどれくらい大きいか」ではなく、「一定の期間内に、指定した国で、何件の異なるアドレスがリクエストに応答したか」です。この数は確認できますし、同じ方法でテストすれば提供事業者どうしで比較できます。
観測される件数が表示より小さく見える理由
例を挙げて考えてみます。ある提供事業者が1,000万のアドレスを掲げているとします。そのうち典型的な時点でオンラインなのが3分の1で、そのうちあなたが必要とする国のものが10分の1だとします。すると、現実的に到達できそうなアドレスは数十万になります。
ここで、ローテーションするリクエストを送ります。最初の1,000件は、ほとんどが新しいアドレスから返ってきます。10万件目に近づくにつれて、すでに見たアドレスの割合が増えていきます。送信したリクエスト数に対して異なるアドレスの数をグラフにすると、線は急に立ち上がり、やがて曲がって平らになります。
この曲線が平らになる点が、ゲートウェイが提供する、その国における実際のプール規模です。ほとんどの場合、見出しの数字を大きく下回りますが、それは想定どおりです。警戒すべきなのは、比較的少ないリクエストで曲線が早く平らになる場合です。ゲートウェイが同じ小さな集合を返し続けていることを意味します。
Atlas がユニークIPを数える方法
Atlas は、リクエストに実際に応答したことが観測された、重複のない出口アドレスを数えます。次のいくつかのルールによって、この数字は比較可能になります。
- ターゲットから見たアドレス。 記録するのはターゲットが見たアドレスであり、提供事業者のダッシュボードの数字は使いません。
- 全ネットワークに同じスケジュール。 どのネットワークにも同じリクエストを、期間全体と各ターゲットに均等に分散して送ります。
- 販売されているままの製品。 セッションとローテーションの設定は、各提供事業者の初期値のままにします。
- 固定の期間。 プール規模は、直近24時間、7日間、30日間に確認された重複のない出口の数です。詳細はすべての数値に適用される期間のルールをご覧ください。
結果は全数調査ではなく、下限値です。安定した現実的なワークロードに対して、ネットワークが実際に何を提供したかを示します。方法はすべてのネットワークで同一なので、ネットワーク一覧ページのユニークIP数は直接比較できます。広告されている2つのプール規模ではそれができません。
規模は品質ではありません
観測された件数が多いことは良いことですが、それがすべてではありません。件数の価値を左右する数字が、ほかに3つあります。
- ネットワークの分散。 少数のautonomous systemに集中したプールは、そのうちの1つがブロックされると全体が一緒に機能しなくなります。測定方法はASNの多様性に関するガイドで解説しています。
- ホスティングのアドレス。 レジデンシャルとして販売されているプールにデータセンターのアドレスが含まれていると、件数は膨らみますが、ターゲット側ではフラグが立てられます。詳しくは本物と偽物のレジデンシャルプロキシの見分け方をご覧ください。
- 繰り返し現れるアドレス。 アドレスが毎日同じように戻ってくるプールは、大規模でローテーションするプールというより、小さな固定の集合のように振る舞います。
適切な国で、クリーンかつ十分に分散したアドレスから成る小さめのプールは、あなたにとって重要なあらゆるターゲットで、はるかに大きなプールを上回ることがあります。
プールサイズは足し算できません
2社の提供事業者を併用して、プールが合算されると考える方は少なくありません。一方のネットワークが200万のアドレス、もう一方が100万のアドレスを掲げていれば、合計300万という感覚になります。ところが、後者が前者の一部を再販している場合、実際の数字は200万にかなり近くなります。
確かめる唯一の方法は、同じ時期にテストした実際の出口アドレスを比較することです。2つのプロキシ事業者が同一の事業者であることが多い理由のガイドでは、この比較の仕組みと、その向きの読み方を説明しています。
自分で確かめる
自分の用途における実際のプール規模は、半日ほどで見積もれます。
- 1つの国と、受け取ったアドレスをそのまま返すエンドポイントを1つ選びます。
- 実際にジョブを実行する時間帯に、ローテーションするリクエストを決まった数だけ、一定のペースで送ります。
- 1,000リクエストごとに、それまでに確認された異なるアドレスの数を記録します。
- 曲線をグラフにします。平らになり始める位置を確認します。
- 別の日にも繰り返します。健全なプールでは、2日目に多くの新しいアドレスが現れます。
- 提供事業者を比較するには、同じ期間に、同じリクエスト数で並行して実行します。
提供事業者に確認したい質問
提供事業者がプール規模を提示している場合、次の質問をすることで、その数字を使える情報に変えられます。
- アドレスはどれくらいの期間で数えていますか。
- 必要な国で、典型的な1時間にオンラインなのは何件ですか。
- パートナー経由で到達できるアドレスもその数字に含まれていますか。
- ホスティングやデータセンターのアドレスは除外されていますか。
- 契約前にテストさせてもらえますか。自分で数えて確認したいと考えています。
プールに自信のある提供事業者であれば、これらのほとんどに答えられるはずです。特に重要なのは最後の質問です。自分で数えた件数は、料金ページのどんな数字よりも信頼できるからです。