レジデンシャルプロキシを購入するのは、ターゲットがホームコネクションをサーバーとは異なる扱いにするからです。実際に受け取っているものがレジデンシャルというラベルを付けたデータセンターのアドレス空間だとしたら、あなたは避けようとしていたまさにそのものに対してレジデンシャルの価格を払っていることになり、それは請求書上の何かではなく、上昇するブロック率を通じて発覚します。偽のレジデンシャルプロキシがこの市場で最も高くつく間違いなのは、まさに静かに失敗するからです。
良い知らせは、これが検証可能な主張だということです。IPの性質は公的な記録の問題であり、トライアルや少額の初回購入で数分もあれば自分で確認できます。以下では、その違いが実際には何であるか、一部のプールがなぜ主張通りではないのか、そして両者を見分けるための具体的なチェック方法を説明します。
IPをレジデンシャルたらしめるもの
レジデンシャルIPとは、コンシューマー向けインターネットプロバイダーが家庭の接続に割り当てたアドレスです。それは人々にブロードバンドを販売するISPに属し、コンシューマーアクセス向けに登録されたアドレス空間にあり、ウェブサイトから見れば自宅にいる普通の人物のように見えます。これこそが低リスクとして扱われる理由そのものです。詳細はレジデンシャルIPの構造にあります。
データセンターIPは、ホスティングインフラに割り当てられたアドレスです。それはクラウドまたはホスティング会社に属し、サーバー向けに登録されたアドレス空間にあり、その登録が公開されているため、簡単にそうだと識別できます。サイトはそれらの範囲をマシントラフィックとして扱う際に推測しているのではなく、データベースを読んでいるのです。だからこそ、データセンタープロキシはレジデンシャルが機能するターゲットでブロックされます。詳しい比較はレジデンシャルプロキシとデータセンタープロキシにあります。
商業的に重要な違いはこうです。レジデンシャルアドレスは希少で、倫理的に調達するにはコストがかかりますが、データセンターアドレスは安価で大量に入手可能です。この価格差こそが、虚偽表示が起きる理由です。
虚偽表示が取る形
純粋なデータセンタープールをレジデンシャルとして販売するほど露骨なことはめったにありません。より一般的な4つのパターンがあります。
1つ目は希釈です。部分的には本物のレジデンシャルであるプールに、見出しの数字を水増しし需要を吸収するためにデータセンターの範囲が混ぜられています。最初のテストリクエストは問題なく見えるかもしれませんが、実際の運用トラフィックのかなりの割合がサーバー空間経由で出ていく可能性があります。
2つ目は誤ってラベル付けされたホスティング隣接空間です。つまり、ホスティングプロバイダーやリセラーに属するアドレスでありながら、よく知られたクラウドの範囲にないためにレジデンシャルとして宣伝されているものです。それらは依然としてインフラに登録されており、サイトが使うデータベースは依然としてそれを把握しています。
3つ目は曖昧に販売されるISPアドレスです。静的なISPプロキシは正当で有用な製品であり、コンシューマーISPに登録されたホスト型アドレスであって、それ自体には何の問題もありません。問題なのは、それをそうと明言せずにローテーティングレジデンシャルとして販売することです。なぜなら、それらは動作が異なるからです。実際の家庭の大規模なローテーティングプールではなく、小規模で固定されたアドレスの集合です。
4つ目はプールサイズの誇張された主張です。宣伝されている数字は、必要とする国で同時に利用可能な数ではなく、これまでに観測されたすべてのアドレスをカウントしています。これは同じ意味で偽物というわけではありませんが、同じ失望を生みます。だからこそ、実際に収集する場所での密度に比べて、プールサイズは弱い指標なのです。
チェック1：アドレスが何として登録されているか
最も速いチェックは公的な登録情報です。プールから出口アドレスをいくつか取り出し、各アドレスの背後にあるASNと組織を調べます。レジデンシャルの出口は、コンシューマーインターネットプロバイダー、通信会社、ケーブルやブロードバンドの事業者、つまり家庭に接続を販売する種類の会社に解決されるはずです。データセンターの出口はホスティングやクラウド会社に解決されます。
1つのアドレスではなくサンプル全体でこれを実行してください。希釈が一般的なケースであり、1つのきれいな結果は何も証明しません。50から100の出口を取得し、組織ごとにグループ化して分布を見てください。かなりの割合がホスティングプロバイダーに属している場合、それは混合プールを見ていることになります。これはキャリアターゲティングを可能にするのと同じASNの可視性であり、ここでは検証ツールとして使われています。
import requests, collections
PROXY = "http://customer-USERNAME-country-us:PASSWORD@p.shifter.io:443"
seen = collections.Counter()
for _ in range(50): # sample the pool, do not trust one exit
r = requests.get("https://ipinfo.io/json",
proxies={"http": PROXY, "https": PROXY}, timeout=15)
d = r.json()
seen[(d.get("org"), d.get("country"))] += 1
for (org, country), n in seen.most_common():
print(f"{n:3} {country} {org}") # look for hosting/cloud names in the listコンシューマーISPが支配的な組織リストが望ましい結果です。ホスティング会社が散りばめられたリストは、実際に何を購入しているのかを教えてくれます。
チェック2：IPインテリジェンスデータベースが何と言っているか
登録は基礎ですが、実際的な問いはターゲットとするサイトがアドレスをどう分類しているかであり、それらはレジデンシャル、ホスティング、ビジネス、モバイルといった使用タイプを割り当てる商用のIPインテリジェンスサービスを使用します。これらのサービスのいくつかは直接クエリできるルックアップを公開しており、プロキシ検出サービスの中には、アドレスがプロキシまたはホスティング範囲としてフラグされているかどうかを率直に教えてくれるものもあります。
サンプルをこれらのサービス1つか2つと照合し、答えをプロバイダーの主張と比較してください。ここではIPレピュテーションについても学べます。これはタイプとは別の軸です。アドレスは本物のレジデンシャルでありながら、過去の乱用のために大きくフラグされている可能性があり、本物だが評判を落としたアドレスのプールは、偽物とほぼ同じくらいあなたを失望させます。
チェック3：実際のターゲットでの挙動
決定的なテストは、あなたのビジネスにとって重要なもの、つまりそのトラフィックが実際に必要なサイトで機能するかどうかです。登録とデータベースはターゲットの意見の代理にすぎず、ターゲットの意見こそが根拠となる真実です。
自分の本物のターゲットを2つか3つ選び、理想的には防御が強固なものを含めて、プールを通して適度な量のトラフィックを流してください。データセンタープロキシまたは直接接続のいずれかのコントロールと比較し、明白なブロックだけでなく、より軟らかい失敗、つまりチャレンジページ、一般的または空の応答、切り詰められたリスト、リダイレクトにも注目してください。これらはすべて200ステータスとともに届き、ブロックされたコンテンツや偽のコンテンツの検出で扱われているように、静かにデータセットを汚染する可能性があります。もし本来レジデンシャルであるはずのプールが、データセンタートラフィックをブロックすることで知られるターゲットでデータセンターアドレスとほぼ同程度の成績しか出さないなら、どのルックアップが何と言おうと、あなたは答えを得たことになります。
チェック4：プロバイダーが答えられるべき質問
これらの一部は測定というより注意義務であり、その答えは示唆に富みます。
アドレスがどこから来るのかを尋ねてください。倫理的なレジデンシャルネットワークは、インフォームドコンセントを通じてアドレスを調達します。通常は開示されたSDKやアプリの取り決めで、参加者は自分の接続が共有されていることを知っており、オプトアウトできます。プロバイダーはその供給チェーンを不快感なく説明できるはずです。ここでの曖昧さは、倫理的にも実務的にも最大の警告サインです。開示されない調達は、フラグされがちなプールと相関する傾向があるからです。これはコンプライアンスの面でも重要であり、GDPRとレジデンシャルプロキシやAIデータ収集のための倫理的調達に関する記事でも扱われています。
プール構成が、全世界的にではなく、あなたが必要とする特定の国においてどうなっているかを尋ねてください。製品がローテーティングレジデンシャルなのか、静的ISPなのか、あるいは混合なのかを尋ね、明確な答えを期待してください。同時接続数とローテーションが実際にどう機能するかを尋ねてください。これは実際のプロキシネットワークの仕組みと一致するはずです。そして、無料または疑わしいほど安価なレジデンシャルオファーには、それに見合った懐疑心を持って対応してください。本物のレジデンシャル供給には実際のコストの下限があり、それを大きく下回るものは何かによって補助されています。多くの場合、それはプールの品質か、そこに含まれる人々の同意です。これは無料プロキシと有料プロキシでの議論です。
短い検証ルーティン
プロバイダーに決定する前に、これを順番に実行してください。50から100の出口をサンプリングし、ASNと組織でグループ化して、ホスティング名が混ざっていないか探してください。使用タイプとプロキシフラグについて、サブセットをIPインテリジェンスのルックアップと照合してください。防御が強固なものを含む自分自身のターゲット2つか3つに対して実際のトラフィックを流し、ステータスコードだけでなくレスポンス検証を伴う成功率を測定してください。あなたが支払った地理的位置が、実際に得られる地理的位置であることを確認してください。すべてのアドレスが本物のレジデンシャルであっても、あなたの国でプールが薄ければ失望することになります。そして調達の質問を直接尋ねてください。完全な測定方法論は速度、成功率、位置精度のテストにあります。
これらのどれも長い時間はかかりません。スケールする前にこれを行うことは、劣化した収集の1か月を経て答えを発見するよりもはるかに安上がりです。
結論
レジデンシャルとデータセンターのアドレスは公的に文書化された形で異なります。つまり「このプールは本当にレジデンシャルなのか」という問いは、信頼の問題ではなく、確認可能な答えを持つ問いなのです。プールをサンプリングして出口の背後にある組織を確認し、使用タイプをIPインテリジェンスと照合し、その上で適切なレスポンス検証を伴って自分自身のターゲットでテストしてください。ターゲットの判定だけが対価を払う唯一のものだからです。アドレスがどこから来るのかを尋ね、明確な答えを期待してください。本物のレジデンシャルアクセスを販売するプロバイダーには、そのいずれについても曖昧である理由がありません。そして曖昧なプロバイダーは、それ自体で有益なことをあなたに伝えています。
これらのチェックを、明快に答えるプールに対して実行したいなら、それがレジデンシャルプロキシというものです。国や都市のターゲティングを備えた本物の家庭グレードのアドレスであり、GB単位の価格設定により、検証の実行はそれが使う帯域幅の分だけのコストで済み、それ以上はかかりません。