用語集

データセンタープロキシとは何か?

データセンタープロキシは、実際の消費者世帯にサービスを提供するインターネットサービスプロバイダーではなく、クラウドまたはホスティングプロバイダーからIPアドレスを取得するプロキシサーバーです。

データセンタープロキシの仕組みと用途、および現代のほとんどのスクレイピングや検証ワークロードが成功率向上のためにレジデンシャルおよびISPプロキシに移行した理由を理解する。

解説

データセンタープロキシは、一般消費者向けISPではなく、クラウドホスティングまたはデータセンタープロバイダー(AWS、Google Cloud、OVH、DigitalOceanなど)が所有するIPアドレスを経由してインターネットトラフィックをルーティングします。IPそのものはサーバーファームに登録されており、自宅や携帯端末には登録されていません。

データセンターIPは取得コストが低く、高速かつ大容量の帯域幅を提供するため、10年前はプロキシの主流でした。トレードオフは検出されやすさです。主要なアンチボットベンダー(Cloudflare、Akamai、PerimeterX、Datadome)はすべて既知のデータセンターIP範囲の包括的なリストを保持しており、保護されたサイトではそれらからのトラフィックをブロックまたはチャレンジします。

現代のデータ収集、広告検証、ブランド保護のほとんどのワークロードにおいて、データセンタープロキシは重要なターゲット(検索エンジン、Eコマース、ソーシャルプラットフォーム、金融サイト)では機能しません。そのためShifterは、本物の一般消費者トラフィックのように見え、これらのターゲットで大幅に高い成功率を発揮するレジデンシャルプロキシおよびISP(静的レジデンシャル)プロキシに注力しています。

仕組み

データセンタープロキシプロバイダーは、クラウドホスティングインフラからIPブロックを賃借または所有しています。プロキシに接続すると、リクエストはそれらのIPのいずれかを経由して転送され、宛先サイトにはそのIPが表示されます。IPは共有(多くの場合、数百人のユーザーが同じプールを共有)または専用(あなただけに割り当て)のいずれかですが、いずれの場合もIPのWHOISレコードは一般消費者向けISPではなくホスティングプロバイダーを指しています。

データセンターIPは既知のIP範囲内の少数のホスティングプロバイダーから提供されるため、容易に識別可能です。アンチボットシステムはASN(Autonomous System Number)ルックアップを使用して、リクエストがアプリケーション層に到達する前にトラフィックを「データセンター」としてフラグ付けします。保護されているほとんどのサイトでは、CAPTCHA、チャレンジページ、またはハードブロックに遭遇します。

共有データセンタープロキシ

多数のユーザーで共有されるデータセンター IP のプール。最も安価なオプションですが、IP は頻繁に再利用されており、人気のあるターゲットに対するアンチボットブロックリストにすでに登録されていることがほとんどです。

専用データセンタープロキシ

単一のユーザーに割り当てられたIP(またはIPセット)です。他の顧客によって消耗されることがないため共有よりも優れていますが、基盤となるIPは依然としてデータセンターIPであり、ASNによって容易に検出されます。

主な使用事例

内部アプリケーションプロキシ(アンチボット対象なし)
公開された保護されていないAPIエンドポイント
静的コンテンツの一括ダウンロード
アンチボット保護のないサイトへのアクセス
ラボ/ステージングトラフィック
FAQ

よくある質問

よくある質問: データセンタープロキシ.

いいえ。ShifterはレジデンシャルプロキシとISP(静的レジデンシャル)プロキシに特化しています。これらは、本格的なオペレーターが重視するターゲットで安定した成功率を出せるIPタイプだからです。現代のスクレイピングや認証ワークロードの大部分において、データセンタープロキシは機能しません。

データセンタープロキシはクラウドホスティングプロバイダーが所有するIPを使用し、レジデンシャルプロキシは一般消費者向けISPが実際の家庭に割り当てたIPを使用します。アンチボットシステムはASNによってデータセンターIPを検出し、保護されたターゲットでブロックまたはチャレンジします。レジデンシャルIPは通常の一般消費者トラフィックに溶け込み、検出が格段に困難です。

GB単価またはIP単価、どちらも可能です。データセンターIPはソースコストが安く、大規模なプールを低い運用コストで構築できます。問題は成功率です。リクエストの80%がブロックされるなら、低いGB単価は意味がありません。レジデンシャルIPはGB単価が高くなりますが、保護されたターゲットに対して圧倒的に高い到達成功率を実現します。

ターゲットに意味のあるボット対策がない場合(内部サービス、レート制限のないパブリックAPI、ラボトラフィックなど)、かつワークロードが帯域幅を多く消費するためGB単価の低さが重要な場合に使用します。最新の検索エンジン、Eコマース、ソーシャルプラットフォーム、または金融サイトに接触するものについては、リジデンシャルが必要です。

主要な保護済みサイトでは、はい。Cloudflare、Akamai、PerimeterX、Datadomeなどのサービスは、データセンターASNのほぼリアルタイムのリストを維持しています。新しいデータセンターIPでも、保護されたサイトで公開されてから数分以内にフラグが立てられるのが一般的です。

スクレイピングや検証のワークフローにはレジデンシャルプロキシを使用してください。Shifterは195か国以上にまたがる2億500万件以上のレジデンシャルIPを提供しており、市区町村レベルのターゲティング、スティッキーセッション、ローテーションモードに対応しています。セッションごとに固定IPが必要なワークフロー(ログインが必要なフロー、アカウントに紐づいたAPI呼び出し)には、ISP(静的レジデンシャル)プロキシを使用してください。