ローテーティングデータセンタープロキシは、ホスティングプロバイダーに登録されたIPアドレスのプールからリクエストを処理し、リクエストごと、または一定時間ごとに異なるアドレスを割り当てます。トラフィックを多数のアドレスに分散させる方法としては最速かつ最安であり、ターゲット側がアドレスの所有者を確認し始めるまでは問題なく機能します。
データセンタープロキシとは実際には何か
データセンタープロキシとは、ホスティング企業やクラウド企業に登録されたIPアドレスのことです。一般消費者向けのインターネットプロバイダーとは一切関係がなく、家庭に割り当てられたことは一度もありません。
これが定義のすべてです。この記事が以前記載していた2つの点は誤りであり、同様の誤りが広く流布しているため、直接訂正しておく価値があります。
- データセンタープロキシはインターネットサービスプロバイダーに引き渡されることはありません。 アドレスはホスティング企業に帰属し、そこにとどまります。ISPはこの経路に一切関与しません。
- 静的レジデンシャルプロキシはデータセンターで発行され、それが住宅用ISPに引き渡されるわけではありません。 実際は逆です。アドレスはまず一般消費者向けISPによって割り当てられ、その後データセンターのインフラ上でホスティングされます。これによって、データセンタープロキシではなくISPプロキシとなるのです。
この違いは些末な話ではありません。アドレスの所有権は、ウェブサイトがあなたを訪問者として扱うかサーバーとして扱うかを決定する唯一のシグナルであり、これら2つの製品はどちらもデータセンター内に存在するにもかかわらず、この点で正反対の立場にあります。
データセンターIPにおけるローテーションの仕組み
データセンタープロキシにおけるローテーションは、他のあらゆる場所と同じように機能します。ゲートウェイエンドポイントに接続すると、プロバイダーがその背後にあるプールからアドレスを割り当てます。
- リクエスト単位のローテーションは、リクエストごとに新しいアドレスを発行します。何も引き継ぐ必要のない独立したフェッチに最適です。
- スティッキーセッションは、一定の期間(通常1分から30分)にわたって1つのアドレスを保持します。リクエスト同士が互いに依存するフローに向いています。
ローテーションが役立つ場面: IPごとのレート制限を無効化できます。1つのアドレスにつき1時間あたり60リクエストを許可するサイトであれば、1,000個のアドレスを使えば1時間あたり60,000リクエストを処理できます。突破しようとしているブロックが単純なカウンターであれば、ローテーションはそれを完全に解決し、しかも他のどのプロキシタイプよりも安価に実現できます。
ローテーションが役立たない場面: 分類に対しては何の効果もありません。現代のアンチボットシステムは、挙動を確認する前にアドレスの所有者を照会します。データセンタープールの中のどのアドレスも同じ結果を返すため、それらの間でローテーションを行っても、システムが気にする要素は何一つ変わりません。1万個のデータセンターIPをローテーションしても、そのすべてでチャレンジを受ける可能性があります。
これが実質的な限界です。ローテーションはリクエスト数をカウントするサイトに対しては、ボリュームをもたらします。しかし所有権を確認するサイトに対しては、何ももたらしません。
データセンタープロキシがうまく機能する場面
高速で安価、かつ大量に利用可能であり、他に合理的な選択肢がない用途もあります。
- ボット対策のないサイト。 公開ウェブの多くの部分は、依然としてチェックを行っていません。こうした用途にレジデンシャルの料金を支払うのは無駄です。
- 公開APIや構造化エンドポイントで、アドレスによるレート制限は行うが、フィンガープリンティングは行わないもの。
- 大量の内部作業: 稼働監視、リンクチェック、自社プロパティのクロールなど。
- 大量のファイルやアセットの取得で、ペイロードが大きく、取得元が誰が取得しているかを気にしない場合。
失敗する場面
防御されているあらゆる対象です。小売、旅行、チケット販売、ソーシャルプラットフォーム、検索エンジン、そしてほとんどの大手マーケットプレイスは、データセンターの範囲を即座に分類します。チャレンジやCAPTCHA、空のレスポンスがすぐに返ってきて、どんな設定変更を行っても解決しません。
この記事は以前、結論と矛盾する内容を3回記載していましたが、正直な立場はこうです: データセンタープロキシは高速で安価だが、防御の堅いターゲットには不向きである。 防御されていない高ボリュームの作業には経済的に正しい選択であり、反撃してくる相手には不適切な選択です。この両方が同時に真実であり、正しく選ぶにはどちらのターゲットに直面しているかを把握する必要があります。
ISPプロキシ: アップグレードパス
Shifterはデータセンタープロキシを販売していないため、専用または私有のデータセンターIPを探してこのページにたどり着いた方には、代わりに何を使うべきかという正直な答えを提示します。
ISPプロキシが自然な橋渡しとなります。これらは同じクラスのデータセンターインフラ上でホスティングされているため、同程度に高速で常時利用可能であり、IPごと月額課金で販売されるため、データセンター購入者がすでに慣れているコストモデルです。違いは、アドレスが一般消費者向けインターネットプロバイダーによって割り当てられている点にあり、これによりウェブサイトはこれらをレジデンシャルとして分類し、それに応じて信頼します。
実際には、これはISPプロキシがデータセンタープロキシにできることに加えて、それができないことも実行できることを意味します。ログイン済みセッション、防御された小売サイト、広告プラットフォーム、アカウントが背後にあるあらゆるものです。アドレスあたりのコストは高くなりますが、データセンタープロキシを苛立たしいものにしている失敗モードを取り除きます。
作業内容が少数のアドレスを継続的に使用するのではなく、多数のアドレスにまたがる大量収集である場合は、リクエスト単位のローテーションを備えたレジデンシャルプロキシの方が適しています。両方の現在の料金は料金ページに掲載されています。
選び方
- ターゲットはアドレスの所有者を確認していますか? いいえなら、データセンタープロキシを使い、費用を節約してください。はいなら、どんなボリュームでも機能しません。
- 安定したアイデンティティやログインが必要ですか? ISPプロキシです。
- 多数のロケーションにまたがるスケールが必要ですか? ローテーティングレジデンシャルです。
避けるべき失敗は、価格だけで購入し、後になってブロック率を発見することです。ほとんどのリクエストが失敗し、それを再試行するプールは、最初から成功する信頼されたアドレスよりも、成功したページ1件あたりのコストが高くつきます。
結論
ローテーティングデータセンタープロキシは精密なツールです。自らを防御しないターゲットに対して、最大の速度と最小のコストを実現します。ローテーションはレート制限に対してできることを拡張しますが、分類に対しては何もできません。
分類の全体像についてはプロキシの種類を、スクレイピング対象別の選び方についてはウェブスクレイピング用プロキシをご覧ください。