データセンタープロキシとは、ホスティング会社やクラウド会社が所有するIPアドレスを経由してリクエストを転送するプロキシサーバーのことです。一般的な消費者向けインターネットプロバイダーのものではありません。ウェブサイト側にはあなたのアドレスの代わりにデータセンターのアドレスが見えるため、このプロキシは高速かつ安価ですが、サーバートラフィックとして見分けられやすいという特徴もあります。
この最後の点が、データセンタープロキシが機能するかどうかをほぼ決定づけます。オープンなウェブサイトでは、データセンタープロキシは速度とコストの面でなかなか敵いません。トラフィックの発信元をチェックするサイトでは、ISPプロキシやレジデンシャルプロキシの方が通常は適しています。このガイドでは、データセンタープロキシの仕組み、得意な場面、不向きな場面、そして選び方について説明します。
データセンタープロキシの仕組み
プロキシはアプリケーションとウェブサイトの間に位置します。あなたのスクレイパー、ブラウザ、スクリプトがプロキシにリクエストを送ると、プロキシは自身のIPアドレスからそれを転送し、レスポンスは同じ経路を通ってあなたの元に戻ってきます。
データセンタープロキシの場合、このIPアドレスはサーバーを運用する会社、つまりクラウドプラットフォーム、ホスティングプロバイダー、またはコロケーション施設が所有しています。これは一般家庭に割り当てられたことがなく、家庭用ブロードバンドやモバイルネットワークとは一切関係がありません。インターネットプロバイダーはこの経路に全く関与していません。
プロバイダーはこうしたアドレスを、しばしば同じマシンの同じサブネットから、大量かつ安価に生成できます。これが速度と低価格の源です。同時に、これらのレンジは公開データベース上でホスティング会社に登録されているため、これが弱点の源でもあります。
データセンタープロキシの種類
データセンタープロキシはいくつかの一般的な形態で販売されています。
- 共有データセンタープロキシ。 複数の顧客が同時に同じIPを使用します。最も安価な選択肢ですが、他のユーザーがそのアドレスで何をするかもあなたに影響します。
- 専用データセンタープロキシ。 1つの顧客がIPのセットを専有して使用します。アドレスの評判をコントロールできますが、それでもデータセンターのIPであることは見分けられます。
- ローテーティングデータセンタープロキシ。 リクエストごと、または一定時間ごとにプールから異なるIPを払い出すゲートウェイに接続します。
ほとんどのデータセンタープロキシは、HTTP、HTTPS、そして多くの場合SOCKS5といった一般的なプロトコルをサポートしており、ユーザー名とパスワード、またはIP許可リストによる認証を行います。
データセンターIPにおけるローテーション
ローテーションは、データセンターIPでも他のプールと同じように機能します。リクエストごとのローテーションでは、すべてのリクエストが新しいアドレスから発信されます。スティッキーセッションでは、1つのアドレスが一定の時間枠の間保持され、互いに依存するリクエストが同じIPを共有できます。両方のモデルの詳細は、ローテーティングプロキシの仕組みについてのガイドで解説しています。
ローテーションが役立つ場面: IPごとのレート制限を回避できます。サイトがアドレスごとに固定のリクエスト数を許可している場合、トラフィックを多数のアドレスに分散させることで、同じ時間内にはるかに多くのデータを収集できます。単純なリクエストカウンターに対しては、ローテーティングデータセンタープロキシが利用可能な中で最も安価な対策です。
ローテーションが役立たない場面: 分類に対しては何の効果もありません。現代のアンチボットシステムは、行動を見る前にIPの所有者をチェックします。データセンターのプールにあるすべてのアドレスは同じ答えを返すため、それらの間を移動してもシステムが気にする要素は何も変わりません。ローテーションは、リクエスト数をカウントするサイトに対しては量を稼げますが、所有権をチェックするサイトに対しては何も稼げません。
データセンター vs. レジデンシャル vs. ISPプロキシ
3つの主要なプロキシタイプは、主にIPを誰が所有し、どこで稼働しているかによって異なります。
| データセンタープロキシ | レジデンシャルプロキシ | ISPプロキシ | |
|---|---|---|---|
| IPの登録先 | ホスティング会社やクラウド会社 | 消費者向けインターネットプロバイダー(実在の家庭) | 消費者向けインターネットプロバイダー |
| 稼働場所 | データセンター内のサーバー | 実在の家庭の回線 | データセンター内のサーバー |
| ウェブサイトからの見え方 | サーバートラフィック | 一般家庭の訪問者 | レジデンシャルトラフィック |
| 速度と安定性 | 非常に高い | 回線によって異なる | 高い |
| 位置ターゲティング | 通常は国またはデータセンターの所在都市 | 国、地域、都市、ASN | 選択した都市とISP |
| 最適な用途 | オープンなサイト、API、内部チェック | 保護されたサイト、多数の拠点にまたがる規模 | 長時間セッション、ログイン、安定した識別情報 |
| 主な弱点 | 検出・ブロックされやすい | レイテンシの変動が大きい | レジデンシャルよりプールが小さい |
最初の2つをより詳しく比較したものとして、レジデンシャル vs. データセンタープロキシ:メリットとデメリットをお読みください。
データセンタープロキシが優れている場面
データセンタープロキシは高速、安価、そして大量に利用可能です。一部の用途では、これ以外に経済的に意味をなす選択肢はありません。
- ボット対策のないサイト。 公開ウェブの大部分は、依然としてIPの所有者をチェックしていません。ここでレジデンシャルトラフィックに余分な費用を払うのは無駄です。
- パブリックAPIや構造化されたエンドポイントで、アドレスごとのリクエストは制限するものの、訪問者のフィンガープリントは取らないもの。
- 内部的・大量処理のタスク、例えば稼働監視、リンクチェック、自社ウェブサイトのクロールなど。
- 大容量のファイルやアセットのダウンロードで、ペイロードが大きく、取得元が誰であるかを気にしない場合。
- 速度重視のテストで、トラフィックの見え方よりも低く予測可能なレイテンシの方が重要な場合。
データセンタープロキシが不向きな場面
自身を防御するあらゆる対象です。小売、旅行、チケット販売、ソーシャルプラットフォーム、検索エンジン、そして大半の大規模マーケットプレイスは、データセンターのレンジを一目で分類します。CAPTCHA、チャレンジページ、空のレスポンス、あるいは静かに改変されたデータを目にすることになり、ヘッダーやローテーションを変えても根本的なシグナルは変わりません。
位置情報もまた制限となります。データセンターのIPはプロバイダーがサーバーを持つ場所にあるため、実際の顧客が使う都市や現地のインターネットプロバイダーと一致することはほとんどありません。必要なコンテンツが都市やネットワークによって変わる場合、例えば現地価格、検索結果、広告などでは、データセンターのアドレスでは現地の人が見ているものを見ることはできません。
最後に、安価なものがかえって高くつくこともあります。ほとんどのリクエストが失敗して再試行が必要になる場合、一度も取得できないページに対して帯域、計算資源、エンジニアリングの時間を払うことになります。本当のコストは、IPあたりのコストではなく、成功した結果1件あたりのコストです。
レジデンシャルプロキシやISPプロキシの方が適している場合
Shifterはデータセンタープロキシを販売していません。それらを検討しているのであれば、有用な問いは「それらが機能しなくなったときに何を使うか」です。
ISPプロキシは自然な次のステップです。サーバーインフラ上で稼働するため、データセンタープロキシのように高速で安定していますが、IPは消費者向けインターネットプロバイダーに登録されているため、ウェブサイトはレジデンシャルとして扱います。Shifterでは、ISPプロキシは契約期間中、選択した都市とISP(ASN)に固定されたままです。これにより、ログイン済みセッション、アカウント作業、広告プラットフォーム、そして一貫した識別情報が重要なあらゆるタスクに強みを発揮します。
レジデンシャルプロキシは、多数のアドレスと拠点にまたがる規模が必要な作業に適しています。Shifterのレジデンシャルプロキシは、195以上の国にある2億500万以上のIPへのアクセスを提供し、3つのプールがあります。
- Full Geoは国、地域、都市、ASNによるターゲティング向けです。
- Country Geoは国レベルのターゲティングのみ向けです。
- Non-Geoはターゲティングなしで、3つの中で最も低いGBあたりのコストです。
両方の製品は1つのゲートウェイp.shifter.io:443を通じて動作し、HTTP(S)またはSOCKS5上でユーザー名とパスワードによる認証を行います。ターゲティングはユーザー名に含めます。リクエストは呼び出しごとにローテーションさせることも、sid-<id>を使ったスティッキーセッションでIPを保持し、ttl-<seconds>でその長さを設定することもできます。これにより、データセンター構成からの切り替えは書き直しではなく設定変更で済みます。
選び方
次の3つの問いを順に検討してください。
- ターゲットはIPの所有者をチェックしていますか? していなければ、データセンタープロキシを使って費用を節約してください。していれば、どの程度の量でも苦戦するでしょう。
- 安定した識別情報、ログイン、または固定された都市とプロバイダーが必要ですか? ISPプロキシを使ってください。
- 多数の拠点にまたがる多数のアドレスが必要ですか? ローテーティングレジデンシャルプロキシを使ってください。
多くのチームはこの3つを組み合わせて使っています。オープンなソースや内部チェックにはデータセンタープロキシ、保護された対象にはレジデンシャルプロキシ、アカウントベースの作業にはISPプロキシです。混在する対象にまたがる収集作業を行っている場合は、ウェブスクレイピングのページで、レジデンシャルプロキシとISPプロキシがスクレイピングのスタックにどう組み込まれるかを紹介しています。
まとめ
データセンタープロキシは、あなたのリクエストにホスティング会社が所有するIPを与えます。最も高速で安価なプロキシタイプであり、ローテーションによってレート制限に対する効果をさらに広げられます。しかし、IPの所有権をチェックするサイトや、位置情報によって異なるコンテンツを表示するサイトに対しては何の効果もありません。オープンで大量の作業にはデータセンタープロキシを使い、ターゲットが対抗し始めたらISPプロキシやレジデンシャルプロキシに切り替えてください。