プロキシ市場は通常、2つの商品として捉えられている。データセンターは生の速度と低コストのため。レジデンシャルは、ブロック回避性と実ユーザーとしての正当性のため。自分のワークロードに応じてどちらかを選ぶ、という具合だ。
このフレーミングは、私が約1,000件の導入でカスタマーと仕事をしてきた経験からすると、他の2つよりも正解であることが多い第3のカテゴリを見落としている。ISPプロキシはデータセンターとローテーティングレジデンシャルの間に位置し、他の2つがうまく解決できない種類の課題を解決する。
この記事は、ISPプロキシをもっと使うべきだという主張であり、同時に、人々が時々試みるよりも少ない場面でしか使うべきではないという主張でもある。
ISPプロキシとは実際に何か
機械的な定義はこうだ。ISPプロキシとは、実在のレジデンシャルISP(Comcast、AT&T、BT、Deutsche Telekomなど)によって発行されたIPアドレスでありながら、データセンターでホストされ、プロキシ事業者によって静的に保持されているIPアドレスである。上流のIPブロックは家庭向けISPに属している。実際にトラフィックが出ていくマシンは、どこかのラックに設置されている。
これは奇妙なハイブリッドに聞こえるし、実際そうだ。これが存在する理由は、対象サイトのアンチボット防御が、部分的に上流のASN、つまりそのIPブロックが割り当てられているネットワークに基づいて判断を下すからだ。Comcastに割り当てられたIPブロックは、サイトの位置情報およびレピュテーションプロバイダーには「家庭」に見える。ホスティング会社に割り当てられたIPブロックは「データセンター、疑わしい」に見える。
ホスティングの実態は、ルックアップには表示されない。ASNが表示されるのだ。
それが具体的に何をもたらすか
純粋なデータセンターでは得られない3つの特性がある。
ネットワークレピュテーション。 このIPはレジデンシャルの範囲にあるため、レピュテーションデータベースは中立的にスコアを付ける。エッジで自動的な「データセンター、スロットリング」の反応を引き起こさない。
地理的な特定性。 ISPの割り当ては実際の地域に紐づいている。Comcast ClevelandブロックのIPはClevelandに位置情報が表示される。純粋なデータセンターがしばしば間違える(データセンターのIPの多くは、顧客が表示させたい場所ではなく、コロケーション施設のある場所に位置情報が表示される)、都市レベルの正確さが得られる。
安定性。 ローテーティングレジデンシャルとは異なり、そのIPはプラン期間中、あなたのものだ。サイトは毎回同じIPを見る。クッキーは保持される。セッションバインディングが機能する。
ローテーティングレジデンシャルと比較して失うのは、上流の多様性だ。あなたは2億IPの深さを持っているわけではなく、数十から数百程度の数だ。対象サイトがそのIPを潰した場合、自動的に新しいものは得られない。
ISPプロキシが正解となる場合
ISPプロキシが他の2つの選択肢を大きく上回る3種類のワークロードがある。
大規模なアカウント管理。 1つのプラットフォーム上で数十から数百のアカウントを運用している(例:クライアントブランドのソーシャルメディア管理、複数ベンダーにわたるeコマース販売者アカウント、複数ネットワークにわたる広告アカウント)。各アカウントは、ログインをまたいで一貫したIPを必要とする。ローテーティングレジデンシャルはアカウントとIPの紐付けを破壊し、再認証を引き起こす。純粋なデータセンターはアンチボットを発動させる。固定されたISP IPはまさにその形にぴったりだ。
長時間実行のセッション作業。 セッションを数時間開いたままにする作業、競合オークションの監視、レジデンシャルアイデンティティでのストリーミング、長時間のリサーチクロールなどは、セッション中に期限切れにならないIPを必要とする。ローテーティングレジデンシャルのセッションはそのTTLに制約されるが、固定されたISP IPは制約されない。
寛容なサイトに対するスループット重視のワークロード。 積極的にブロックしないがバンド幅を多く使うサイト(ベンダーの公開カタログAPIの継続的な監視など)にアクセスする場合、実際のネットワークレピュテーションに対するデータセンターのレイテンシは、スループットとブロック回避性の両方を得られる。ローテーティングレジデンシャルは、寛容な対象では実際には不要なルーティングオーバーヘッドのために、リクエストごとに50〜200msを追加する。
3番目のケースは、カスタマーがISPプロキシを検討していないことが最も多いケースだ。「本物に見える必要がある」という理由でレジデンシャルをデフォルトに選び、対象サイトがそもそもデータセンタートラフィックをブロックする気がなかったにもかかわらず、レイテンシの税を払っている。
ISPプロキシが不正解となる場合
ISPプロキシが期待を裏切る2種類のワークロードがある。
高ボリュームのファンアウトスクレイピング。 50のベンダーにわたって、1日に100,000件の商品ページを取得している。各リクエストは異なる訪問者に見える必要がある。ISPプロキシのプールは小さいため、同じ対象に対して数千件のリクエストで同じIPを再利用することになり、これはほとんどのアンチボットシステムが監視している対象そのものだ。ここではローテーティングレジデンシャルが正しいツールだ。
能動的な防御を持つ厳しい対象。 リアルタイムの挙動に基づいて積極的にIPを潰すサイト、Cloudflareの最も積極的な設定、一部の金融サイト、敵対的なアンチボットを持つ一部の旅行アグリゲーターは、あなたのISPプールをすぐに使い果たしてしまう。ローテーティングレジデンシャルでは実質的に無限の代替IPがあるが、ISPでは数日で割り当てを使い果たしてしまう。
間違ったツールを使っているという兆候は、通常明らかだ。特定の対象に対する成功率が数日にわたって低下していく。ローテーティングレジデンシャルでは、プールが常に更新されるため成功率は安定している。ISPプロキシでは、対象によって潰されるIPが増えるにつれて成功率が低下する。
価格設定のロジック
両方の商品には、それぞれが何のために作られたかを示す合理的な価格モデルがある。
ローテーティングレジデンシャルはGB単位の帯域幅で価格設定される。なぜなら、コストドライバーがレジデンシャルSDKパートナーとの上流契約であり、移動させる1GBごとにSDKが配信しなければならない1GBだからだ。同時実行数は無料で、IP数は実質無制限で、データフローに対して料金を払う。
ISPプロキシはIP単位で価格設定される。なぜなら、コストドライバーが静的な割り当てだからだ。固定された各IPは、使うかどうかに関わらずあなたのために確保されている。帯域幅は無制限だ。GBごとの上流コストが存在しないため、IPを持てば追加のリクエストは無料だからだ。
これはコスト計算が完全に異なることを意味する。ローテーティングレジデンシャルの場合、月間の帯域幅予算をGB単位のレートで割ればそれがプランになる。ISPプロキシの場合、必要な同時アカウント数/セッション数/アイデンティティ数を数え、IP単位のコストを掛ける。
実際には、10件の長期セッションを実行している場合、ISPはそれらのセッションがレジデンシャルで消費するであろう帯域幅よりも大幅に安い。10,000件の短期ファンアウトスクレイピングを実行している場合、レジデンシャルは10,000のISP IPを固定するIP単位のコストよりも大幅に安い。
混合導入パターン
最も洗練されたカスタマーは1つを選ぶことはしない。しばしば同じコードベース内で、ワークフローの形状に基づいて正しい商品にトラフィックをルーティングする。一般的な本番アーキテクチャはこうだ。
- ローテーティングレジデンシャルは、バルクスクレイピング層、価格インテリジェンス、SERP監視、コンテンツ集約向け。高ボリューム、一時的、地理的に多様。
- ISPプロキシは、アカウント層向け。販売者アカウントの管理、競合広告アカウントの監視、長期間の認証済みセッション。
- データセンターは、内部API層向け。自社のAPIを呼び出す、CDNキャッシュされたコンテンツへのアクセス、対象がわざわざ防御していないもの全般。
3つの異なるプロキシタイプが1つのインフラ抽象化の背後にあり、直感ではなくワークフローの形状によって選ばれている。
チームがISPを過小利用する理由
正直な答えはこうだ。ほとんどのチームは、プロキシに不慣れなときに商品を選び、二度と見直さない。彼らはあらゆる「ベストプラクティス」記事が推奨するという理由でローテーティングレジデンシャルから始め、それをコードベースに組み込み、それが数学的に間違ったツールであるワークロードを調査することは決してない。
もしあなたがレジデンシャル専用の導入を3年間続けていて、アカウント管理やセッション重視のワークロードをISPプロキシと比較してベンチマークしたことが一度もないなら、それらのワークフローで実際には必要のないレジデンシャルのレイテンシと帯域幅に対して過剰な料金を払っている可能性がかなりある。
それを知る方法は地味なものだ。特定の1つのワークフローの10%を2週間ISPプランに流し、成功率を計測し、コストを計測し、比較する。明確な勝利であればそのワークフローを移行する。そうでなければ元のままにする。どちらの結果も有用だ。
中間の選択肢は両極端よりも魅力的に見えないため、この市場ではあまり注目を集めない理由の一部はそこにある。しかし、特定の意味のあるワークロードのクラスにとっては、それが正しいツールであり、使用するツールこそが単位経済性を決定する要素の大部分なのだ。