プロキシ検出テストとは、訪問者について「この接続はプロキシ経由か」という1つの問いに答えようとする仕組みの総称です。サイトはすべてのリクエストに対してこのテストを裏で実行しており、IP照会ツールはアドレスを貼り付けたときに簡易版を実行します。レジデンシャルプロキシを購入する場合に知りたいのは、簡易版ではなく実際の検出に対して、プロバイダーの出口がどの程度通用するかです。
このガイドでは、サイトが実際に使うシグナル、オンラインの「プロキシを使用しているか」チェックでわかることとわからないこと、そしてどのプロバイダーでも半日あれば実行できるテストを取り上げます。対象はIPと接続です。良いIPが検出される原因となる、利用者側の設定ミスについては、検出を招きやすいレジデンシャルプロキシのよくある設定ミスをご覧ください。
サイトがプロキシIPを検出する仕組み
検出は複数の層で働きます。1つの層だけで判定が決まることはなく、各層がリスク評価に加点していきます。
- アドレスそのもの。 サイト、またはサイトが利用する有料のIPインテリジェンスベンダーが、そのアドレスの所有者を調べます。ホスティング会社のレンジは最も簡単に検出される対象です。一般消費者向けISPのレンジは、この層を通過します。
- 既知のプロキシ出口。 ベンダーは、ハニーポット、トラフィックパートナー、自社テストなどを通じて、プロキシの出口として動作しているのを確認したアドレスのリストを作成します。レジデンシャルの出口もこうしたリストに載ることがあり、その数はベンダーによって大きく異なります。
- レピュテーション。 スパム、スキャン、クレデンシャルスタッフィングなど、そのアドレスによる過去の不正行為です。レジデンシャルの出口は共有されているため、レピュテーションはあなたではなくアドレスに付いて回ります。
- 接続。 Via や X-Forwarded-For などプロキシが付加するヘッダー、ブラウザではなくクライアントライブラリに一致するTLSフィンガープリント、IPとは別の国で解決されるDNSクエリ、プロキシを迂回するIPv6経路などです。
- 行動。 リクエストレート、タイミング、ナビゲーションのパターン、そして1つのアドレスが抱えるアイデンティティの数です。この層は、クリーンなIPが不適切に使われている場合を検出します。
- 一貫性。 IPの所在地が、ブラウザのタイムゾーン、言語、その他のシグナルと一致しているかどうかです。
優れたレジデンシャルプールであれば、最初の層はほぼどこでも通過し、接続の層は常に通過するはずです。残りの層は、プールの使い方と共有の広さによって決まります。
オンラインのプロキシチェックでわかること
プロキシチェックサイトにアドレスを貼り付けると、最初の2~3層について、1つのベンダーの見解が得られます。所有者、接続タイプ、プロキシフラグ、場合によってはリスクスコアなどです。これは役に立ちますが、限界があります。
- 1つのベンダーの見解にすぎません。 レジデンシャルアドレスがプロキシかどうかについて、サービス間で意見が大きく分かれることがあります。同じレジデンシャルの出口を2つの検出サービスにかけると、一方は大部分をフラグ付けし、もう一方はほとんどフラグ付けしないということも珍しくありません。
- 1つのアドレスにすぎません。 プールからは数千のアドレスが割り当てられます。1回の照会では、プール全体のどのくらいがフラグ付けされるかはわかりません。
- 対象サイトではありません。 あなたが重視するサイトは、別のベンダーや独自のモデルを使っているかもしれませんし、何も使っていないかもしれません。
- テストしているのはIPであり、接続ではありません。 照会ツールの多くは、ヘッダー、TLSハンドシェイク、DNS経路を確認しません。
照会ツールは、ホスティングアドレスを見分ける簡易スクリーニングとして扱い、最終的な判定とは考えないでください。
本当のテストは対象サイトです
重要なプロキシ検出テストは、データを取得したいサイト自身が実行するものだけです。その結果を確認する唯一の方法は、実際のリクエストを送り、返ってきたものを分類することです。ブロックページは検出です。CAPTCHAも検出です。通常のステータスコードで返される空の結果ページも検出です。
Atlasはこのように取り組んでいます。すべてのネットワークに対して、同じターゲットセットをサイトごとにスコア化し、同じリクエストを送ります。リクエストは、コンテンツが本物である場合にのみ成功とみなされ、チャレンジは失敗として数えます(結果の分類方法)。難易度の高いターゲットは、簡単なターゲットでは見分けられないネットワークの差を明らかにします。
真正性の面では、Atlasは各プールのうちホスティングネットワークに解決される割合を数え、接続そのものも確認します。具体的には、DNS、WebRTC、プロキシヘッダー、TLSフィンガープリント、IPv6フォールバックを、ターゲット側から検証します。これらはプロバイダーが制御できる層です。レピュテーションと行動は、一部は他の顧客に、一部はあなた自身に左右されます。
プロバイダーのIPをテストする方法
有意義なテストには3つの条件があります。多くの出口を使うこと、複数のシグナルを見ること、そして実際のターゲットを使うことです。
- 出口を集める。 プロバイダー経由で、IPとヘッダーをそのまま返すエンドポイントに数百件のリクエストを送ります。重複しない出口をそれぞれ記録します。
- アドレスをスクリーニングする。 すべての出口を、2~3のIPインテリジェンスサービスで照会します。ホスティングと判定された割合と、各ベンダーがプロキシとフラグ付けした割合を数えます。
- 接続を確認する。 プロキシヘッダーがエコーエンドポイントに届いていないこと、DNSが出口の国で解決されること、IPv6やWebRTCの経路であなた自身のアドレスが漏れていないことを確認します。
- ターゲットにアクセスする。 実際のワークロードからサンプルを送ります。すべてのレスポンスを、ステータスコードではなくコンテンツに基づいて、成功、ブロック、チャレンジ、ソフトブロックに分類します。
- 繰り返す。 数日後に、同じ手順をもう一度実行します。プールは入れ替わり、レピュテーションも変動します。
結果の読み方
- ホスティングの割合が高い: そのプールは、販売されている内容とは異なります。これは最も重大な発見であり、どのベンダーを使っても同じです。
- プロキシフラグが多く、ホスティングの割合が低い: 優れたベンダーが把握しているレジデンシャルの出口では普通のことです。心配する前に、ターゲットでの結果を確認してください。
- 接続の漏れ: プロバイダーまたはクライアント設定の問題です。他のすべての結果が歪むため、何よりも先に修正してください。
- 照会結果はクリーンだがターゲットでは失敗する: まず自分のリクエストパターンとフィンガープリントを確認し、次に負荷時のプロバイダーの挙動を確認してください。
- 2つのプロバイダーで同じアドレスがフラグ付けされる: インベントリを共有している可能性があります。確認方法はプロキシプールの重複に関するガイドで説明しています。
自分で実施する
あらゆるトライアルで使える簡単なチェックリストです。
- 少数ではなく、少なくとも数百の重複しない出口。
- 2つ以上の照会ベンダーを並べて比較。
- ヘッダー、DNS、IPv6に関するエコーエンドポイントでの確認。
- 実際のターゲットを使い、チャレンジページは失敗として数える。
- 別の日にもう一度実行。
プロバイダーが照会では良好でも、ターゲットでは悪い場合は、ターゲットの結果を優先してください。検出テストは目的を達成するための手段であり、その目的とはページが正しく読み込まれることです。