レジデンシャルプロキシ市場には、公の場ではほとんど語られない構造的な特徴があります。購入できる「ネットワーク」の多くは、販売しているアドレスの大半を自社で所有していません。少数の事業者から卸売で仕入れ、その一部を再販しています。ルーティング、ターゲティング、ツール面で実際に付加価値を加えている場合もあれば、マージンを上乗せしているだけの場合もあります。
これは不祥事ではありません。モバイル回線からクラウドホスティングまで、あらゆるインフラ市場で再販は一般的です。問題は、購入時点ではそれが見えないことです。そのため、バイヤーが日常的に行う3つの判断が、気づかないうちに狂ってしまいます。どのプロバイダーをフォールバックにするか、実際にどれだけの容量があるか、適正価格はいくらか、という判断です。
朗報として、これは測定できます。本ガイドでは、サプライチェーンの仕組み、重複がこれらの判断に与える影響、そして大半の重複率の数値を無意味にしているサンプリングの誤りを避けて測定する方法を説明します。
レジデンシャルの供給の仕組み
レジデンシャルの出口とは、通常はアプリやSDKを通じて、ネットワークのためにトラフィックを中継することに同意した、実在する家庭の回線です。この供給を築くには時間も費用もかかります。アプリ提携、同意フロー、報酬支払い、不正対策、そして長年にわたる離脱管理が必要です。大規模に行えるのは、ほんの一握りの事業者だけです。
その周囲には、階層化された市場があります。
- オペレーターは、デバイスを調達し、それらを経由してトラフィックを中継するインフラを運用します。
- 卸売業者は、1社以上のオペレーターから容量を購入し、まとめて再販します。複数の供給元を1つのゲートウェイの背後で混ぜることもあります。
- リセラーは、オペレーターまたは卸売業者から購入し、自社ブランドで販売します。独自のダッシュボード、プラン、サポートを備えることが多い一方で、トラフィックは他社の出口から出ていきます。
1つのブランドが複数の階層にまたがることもあります。ある国では自社の供給、別の国では仕入れた供給、需要のピーク時の不足分を補うための卸売フィード、といった具合です。こうした事情は料金ページには一切表示されません。
重複が狂わせる3つの判断
冗長性。 プロバイダーに不具合があったときの定番のアドバイスは、2社目を確保しておくことです。しかし、両社が同じプールから供給を受けている場合、手に入れたのは2つ目の供給元ではなく、2枚目の請求書にすぎません。ターゲットがあるアドレスのブロックを拒否し始めると、両方のプロバイダーで同時に拒否されます。これはまさに、フォールバックが役立つはずの場面です。フォールバックの出口の70%がプライマリーと共通なら、フォールバックのトラフィックの70%は、ターゲットが不信を学習したばかりのアドレスに到達します。多くの場合、これはインシデントの最中に初めて判明します。
容量。 プロバイダーはプールサイズを公表し、バイヤーはそれを足し合わせます。ある大規模ネットワークが1,000,000個のユニークな出口を示し、小規模なネットワークが70,000個を示していて、そのうち50,000個が大規模なほうにも現れるとします。両方を使っても、ユニークな出口は1,070,000個ではなく1,020,000個です。2社目が追加したアドレスは7%ではなく2%であるにもかかわらず、プラン全体の料金を支払うことになります。
価格。 リセラーのコストは、上流の価格にリセラー自身のマージンを加えたものです。リセラーが価値のあるものを付加しているなら、それで問題ありません。しかし、同じ出口を上流からもっと安く買えるのであれば、割に合いません。しかも、上流が存在することを知らないバイヤーは多いのです。
方向性こそが測定結果の核心です
重複率を1つの数字で示すと、測定で最も有用な部分が隠れてしまいます。共有されているアドレスは、双方の側から読み取る必要があります。
先ほどの例で考えます。観測された出口が70,000個のネットワークと、1,000,000個のネットワークの間で、50,000個のアドレスが共通しています。
| 小規模ネットワーク | 大規模ネットワーク | |
|---|---|---|
| 観測されたユニークな出口 | 70,000 | 1,000,000 |
| 相手と共有している数 | 50,000 | 50,000 |
| 自身のプールに占める共有の割合 | 71% | 5% |
| 専有の割合 | 29% | 95% |
小さいプールの大半が大きいプールの内側にあり、大きいプールのごく一部だけが小さいプールの内側にあるというこの形は、再販の典型的な特徴です。関係は一方向に流れており、小規模ネットワークが下流にあたります。
次に、同じ国の一般消費者向けISPから調達している2つの独立したオペレーターを比べます。一方の出口が400,000個、もう一方が300,000個で、共有が6,000個だとします。これは一方の1.5%、もう一方の2%にあたり、どちらの方向から見ても小さな重複です。たまたま同じ家庭の一部に到達している2つのネットワークから予想される程度の値です。対称的で小さい場合は、2つのネットワークが別々に同じことをしていることを意味します。非対称で大きい場合は、一方が他方から購入していることを意味します。
サンプリングの落とし穴
目にする重複率の大半に共通する誤りがあります。サンプルが小さいと、同一のプールでも無関係に見えてしまうことです。
まったく同じ2,000,000アドレスのプールを販売している2つのブランドがあるとします。それぞれから20,000個の出口をサンプリングします。平均すると、一致するのは約200個、つまり各サンプルの約1%にすぎません。そのまま読めば、2つのネットワークはほとんど重複していないことになります。しかし実際には、同じネットワークです。
これは、ローテーティングプールが観測のたびに異なる一部分を割り当てるために起こります。観測された重複は常に下限値です。2つのプールが実際に共有している量は、観測した量より多いことはあっても、少ないことはありません。問題は、「異なるプール」と「同じプールで、サンプルが小さいだけ」をどう見分けるかです。方法は2つあります。
各プール自身との重複と比較します。 同じプロバイダーから、同じ時間帯に、同じ方法で2つのサンプルを取り、それらがどれだけ重複するかを測定します。これがベースラインで、1つのプールの2つのサンプル間で予想される最大の重複量です。そのうえで、プロバイダー間の重複をこれと比較します。
relative overlap = overlap between A and B ÷ overlap of A with itself
相対重複が1に近い場合、手元のサンプルから判断する限り、Bの出口はAのプールから引き出されています。0に近ければ独立しています。その中間は部分的な共有を意味し、たとえば供給の一部を購入しているネットワークがこれにあたります。
繰り返し観測された回数から実際のプールサイズを推定します。 同じ自己重複の値から、プロバイダーが実際に到達できるアドレス数をおおまかに推定できます。これは、生態学者が湖の魚の数を数えるのに使う標識再捕獲法と同じ考え方です。
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
1つのプロバイダーから取った40,000個の出口のサンプル2つが8,000個を共有していれば、そのプロバイダーは、宣伝文句にかかわらず、その時間帯のあなたのターゲットに対して約200,000個のユニークなアドレスに到達していることになります。この推定は、すべてのアドレスが等しい確率で割り当てられると仮定していますが、実際にはそうはならないため、正確な数ではなく桁の目安として扱ってください。それでも、公表されているプールサイズよりははるかに実態に近い値です。
共有アドレス以外のシグナル
アドレスの重複は証拠となります。ほかにも同じ方向を指すシグナルがいくつかあり、最初に気づきやすいことがよくあります。
- 共通のインシデント。 2つのネットワークが同じ時間帯に同じターゲットで失敗し始め、同時に回復する場合、おそらく同じ出口を経由しています。数週間にわたって相関するインシデントは、ほかの理由では説明が困難です。
- 同じ位置情報の誤り。 どのネットワークも、アドレスを国や都市に対応付ける際に何らかの誤差を持ちます。2つのネットワークが同じアドレスを同じ形で誤って判定する場合、同じ上流の位置情報データを参照しているか、同じトラフィックを送っている可能性が高いです。
- ゲートウェイの挙動が同一。 同じエラーページ、同じセッションパラメータの構文、スティッキーセッションの同じ癖、プロキシ層からの同じレスポンスヘッダーは、下に同じインフラがあることを示唆します。
- ASNと国の構成が一致。 ASNや国ごとの割合がほぼ同じ2つのプールは、示唆的ではあります。それだけでは何も証明しません(後述)が、非対称な重複と並んでいれば、全体像を補強します。
重複が証明しないこと
この測定は過剰に解釈されやすいため、限界を率直に述べておきます。
再販は不正ではありません。 速度を重視して出口を選別したり、より優れたターゲティングやツールを提供したり、サポートへの返答が速かったりするリセラーは、実際に価値のあるものを販売しています。選別が機能しているために、リセラーが比較でもっとも高速な製品になることさえあります。問題は、再販された在庫に対して知らずにプレミアムを支払うこと、あるいはその在庫が提供できない独立性を当てにすることです。
ASNの共有はアドレスの共有ではありません。 同じ大手ISPから調達している2つのネットワークは、ASNの内訳では似て見えても、実際のアドレスは1つも共有していないことがあります。ASNレベルの類似は手がかりにすぎず、証拠になるのはアドレスレベルの一致だけです。
近隣のアドレスは一致ではありません。 IPv4では、同じ/24内の2つの出口は別々の家庭であることがよくあります。IPv6では、1つの家庭が通常は/64をまるごと保持しているため、アドレスの完全一致では共有デバイスを見逃します。IPv6の出口は/64単位で比較してください。2つのルールを混ぜると、実際の重複が隠れるか、存在しない重複が生まれます。
方向は時間とともに変わることがあります。 リセラーとして始まり、自前の供給を構築していくネットワークでは、重複が月ごとに低下していきます。新しい上流を追加した卸売業者では、重複が突然跳ね上がります。1つの時間帯の測定はスナップショットにすぎず、推移のほうが多くを語ります。
2社目のプロバイダーで実際に得られるもの
重複が分かれば、複数のプロバイダーを使う構成にどれだけの価値があるかを算出できます。2社の場合、実際に到達できるアドレスは次のとおりです。
reachable exits = A + B − shared
3社の場合は、3社すべてを足し、各ペアの重複を引き、3社すべてが共有するアドレスを足し戻します。実務で役立つ数字はもっと単純です。各候補について、すでに到達できていない出口を何個追加してくれるか、という数字です。これはその候補の専有の割合であり、プールサイズではありません。価格と比較して検討すべきなのは、この数字です。
冗長性については、問いはさらに絞られます。重要なのは全体の重複ではなく、フォールバックが必要なターゲットでの重複です。2つのネットワークが、容易なサイトでは独立していながら、難しいサイトでは動作する出口の大半を共有していることがあります。そこでは各プールのごく一部しか通過できないためです。
購入時の活用方法
フォールバックを選ぶ前に重複を確認します。 冗長性のために2社目のプロバイダーを追加する場合、重要なターゲットにおけるプライマリーとの重複が、比較の中でもっとも重要な数字です。どちらのネットワークの成功率よりも重みがあります。
プールの主張は専有の割合で割り引いて考えます。 有用な数字は、公表されたプールでも、測定したプールでもありません。測定したプールに専有の割合を掛けたもの、つまりほかの方法では確実に到達できないアドレスです。
供給元について書面で質問します。 自社で供給を所有しているプロバイダーは、たいていそのことを率直に答えます。「販売している出口を自社で運用していますか、どの国でですか」という質問に曖昧な答えが返ってくること自体が、1つのデータポイントです。
再販の特徴は、技術面だけでなく事業上のリスクとして扱います。 リセラーの製品は、上流の条件、価格、品質が変わると変化し、上流との関係はあなたにはありません。プロトタイプであればほとんど問題になりません。期限のあるものであれば、リスク登録簿に載せるべきです。
自分で測定する
2社以上のプロバイダーのアカウントがあれば、1日で行える作業です。
- 両方を同時に実行します。 同じリクエストを、同じ時間帯に各プロバイダー経由で送ります。プールは絶え間なくローテーションするため、月曜日に一方、木曜日にもう一方をサンプリングしても何も分かりません。
- ターゲットが見たものを記録します。 プロバイダーのダッシュボードの表示ではなく、IPエコーサービスなどターゲット側のチェックで得た出口アドレスを、すべてのリクエストで記録します。ダッシュボードはキャッシュされていたり、誤っていたり、ゲートウェイを表していたりすることがあります。
- プロバイダーごとに2つのサンプルを取ります。 各プロバイダーのトラフィックを同じサイズの2つに分け、自身との重複を測定できるようにします。
- 十分なサンプル数を確保します。 プロバイダーごとに数万個のユニークな出口を目標にします。数千個を下回ると、どの重複も小さく見え、自己重複との比較はノイズになります。
- アドレスを正規化します。 IPv4は完全一致、IPv6は/64単位で比較します。
- 両方向を計算します。 共有数を各プールに対する割合で求め、次に各プールの自己重複に対する相対重複を求めます。
- 翌月に繰り返します。 時間帯をまたいだ変化が、もっとも多くを物語る結果であることがよくあります。
Atlasの測定方法
Atlasは、テストするすべてのネットワークの組についてこの測定を実行し、プロキシプール重複ページで公開しています。各重複の方向と各ネットワークの専有の割合も含まれています。すべてのネットワークは、同じ時間帯に同じリクエストでテストされ、それぞれが割り当てた出口アドレスをペアごとに突き合わせます。具体的な手順と限界については、方法論に記載しています。
これに類する情報を公開している比較はほとんどありません。この市場で、主張されるのではなく検証できる数少ない事柄の1つであることを考えると、不思議なことです。