プロキシを購入するということは、誰も説明してくれない語彙で書かれた仕様書を読むことを意味し、同じ単語が2社のサイトで異なる意味を持つこともある。これは実用的な用語集であり、支払う金額や得られるものを実際に左右する用語を、それが属する意思決定ごとにグループ分けし、平易な言葉で説明する。
プロキシの種類
レジデンシャルプロキシ。 リアルな家庭用インターネット接続に属し、一般消費者向けISPが世帯に割り当てるIPアドレス。サイトはこれを通常の訪問者として扱うため、サーバーをブロックする対象でも機能する。接続の共有に同意した人々から調達されるため供給には限りがあり、価格はそれを反映している。詳細はレジデンシャルプロキシとは何かを参照。
データセンタープロキシ。 ホスティングまたはクラウドプロバイダーに属するアドレス。高速で安価、豊富にあり、アドレス範囲が公開登録されているためサーバーだと即座に識別される。防御のないターゲットには問題ないが、トラフィックを精査するものには不向き。比較はレジデンシャルとデータセンターの比較にある。
ISPプロキシ(静的レジデンシャルとも呼ばれる)。 一般消費者向けISPに登録されたホスト型アドレス。レジデンシャル並みの信頼性とデータセンター並みの安定性・速度を兼ね備え、ローテーションしない。同一のIDを変化させずに持続させる必要がある場合に適している。ISPとレジデンシャルの比較を参照。
モバイルプロキシ。 通信キャリアのモバイルネットワークから提供されるアドレス。キャリアは1つのアドレスの背後に多数の実利用者を置くため最もブロックしにくい種類だが、それに応じて最も高価で最も不安定でもある。モバイルとレジデンシャルの比較を参照。
プロキシプール。 プロバイダーがルーティング可能なアドレスの集合。見出しの数字は比較指標としては弱い。重要なのは実際に使用する国での密度と同時に利用可能な数であり、累計数ではないからだ。
トラフィックのルーティング方法
ゲートウェイ。 すべてを送信する単一のエンドポイントで、指定したパラメータに基づいて出口アドレスを選択してくれる。これに代わる、今ではほぼ過去のものとなった方式は、自分で管理する個々のプロキシアドレスとポートのリストである。
ローテーティングプロキシ。 リクエストごとに異なるアドレスから出る。単一のアドレスが注目を集めないようボリュームを分散させるため、大量収集のデフォルト方式となっている。ローテーションの仕組みを参照。
スティッキーセッション。 選択したセッションIDで識別され、限られた寿命の間、複数のリクエストにわたって保持される1つのアドレス。ページ送りのある検索やログインなど、サイトが状態を追跡する複数ステップのフローで必要となる。スティッキーとローテーティングの比較を参照。
セッションIDとTTL。 セッションIDは、リクエストを同じ出口アドレスに結び付けるラベルであり、TTLはそのアドレスがローテーションするまでそのマッピングが維持される時間である。どちらも通常、別個の設定としてではなく、プロキシのユーザー名の中に表現される。
同時接続数。 同時に処理中のリクエスト数のこと。リクエストを開始する頻度を示すレートとは異なり、一部のプロバイダーはこれを別途計測している。無制限の同時接続を参照。
ターゲティング
ジオターゲティング。 出口アドレスがどの国にあるかを選択し、その国の訪問者が見るものを自分も見られるようにすること。結果が市場ごとに異なる収集作業すべての基盤となる。
都市レベルのターゲティング。 特定の都市に絞り込むこと。ローカル検索、店舗の在庫状況、地域別価格において重要となるが、それ以外のほとんどの作業では不要である。都市レベルのターゲティングが重要になる場合を参照。
ASNターゲティング。 アドレスが属するネットワーク事業者を選択すること。ターゲットがキャリアによって挙動を変える場合に有用。ASNターゲティングを参照。
厳密マッチング。 フィルターに正確に一致するアドレスがない場合、より広い範囲にフォールバックするのではなく、リクエストを失敗させるオプション。誤った位置情報がデータを気づかれないまま損なう場合に有用。
価格と課金
GB単位の価格設定。 アドレスやポート数ではなく、転送されたデータ量に対して支払う方式。これがローテーティングレジデンシャルの標準モデルであり、予測すべき数字がIP数ではなく帯域幅になる。月間帯域幅の見積もりを参照。
帯域幅割り当て。 課金サイクルにおいてプランに含まれるGB数。通常は繰り越されない。
超過分(追加トラフィックと呼ばれることもある)。 割り当てを超えた場合に起きること。アカウントの設定によって、リクエストが停止するか、残高に対してGB単位の料金が課金され続けたまま利用が継続するかのいずれかとなる。
ポート単位またはIP単位の価格設定。 固定数のポートまたはアドレスを購入していた旧来のモデル。ローテーティングレジデンシャルではほぼ姿を消しており、主に見積もりの中でこれを見分けられるようにするために理解しておく価値がある。ポート単位の時代がなぜ終わったかを参照。
品質と信頼性
IPレピュテーション。 そのアドレスから過去に何が行われたかに基づいて、サイトやインテリジェンスサービスが蓄積している評価。レピュテーションの低い、正真正銘のレジデンシャルアドレスは、クリーンなアドレスより性能が劣る。だからこそレピュテーションは種類と同じくらい重要である。IPレピュテーションとは何かを参照。
フィンガープリンティング。 アドレスではなく、リクエストの特性からクライアントを識別すること。TLSハンドシェイク、HTTP/2の設定、ヘッダーの集合と順序、ブラウザの場合はレンダリングやデバイスの詳細などが含まれる。クリーンなIPでもフィンガープリントが不一致であれば検出される。TLSとHTTP/2のフィンガープリンティングを参照。
ソフトブロック。 成功を装った拒否のこと。チャレンジページ、空の結果、切り詰められたリスト、あるいは200ステータスで返される汎用ページなどがある。素朴な監視ではこれを動作中とカウントしてしまうため、最もコストのかかる失敗モードである。ブロックまたは偽のコンテンツを検出する方法を参照。
検証済み成功率。 何らかの応答が返ってきた割合ではなく、求めていたデータが返ってきたリクエストの割合。報告する価値のある唯一の成功指標。プロキシのKPIを参照。
倫理的な調達。 プールを構成する接続の持ち主が、知った上で同意し、オプトアウトできるかどうか。実務上の影響を伴うサプライチェーンの問題であり、開示されていない調達はフラグを立てられるプールと相関するためである。
運用
レート制限。 ターゲットが一定期間に受け入れるリクエスト数の上限で、通常はIPごとに設定される。ペース配分はこれを尊重する必要があり、プールは制限が働く場所を変えるだけで、制限自体をなくすわけではない。レート制限とスロットリングを参照。
バックオフ。 失敗後のリトライ間隔を徐々に長くしていくこと。並列で動くワーカーが同期した波でリトライしないよう、理想的にはランダム性を加える。リトライとバックオフを参照。
フェイルオーバー。 あるルートが劣化した際に別のルートへ作業を移し、ジョブが停止せずに継続するようにすること。マルチリージョンパイプラインにおけるフェイルオーバーを参照。
407。 プロキシが認証情報を拒否した際に返すステータスコード。通常は認証情報の誤りかターゲティングフラグの記述ミスが原因で、リトライする価値はまずない。407エラーの修正を参照。
稼働率SLA。 プロバイダー自身の可用性に関する約束。ターゲットが自分のトラフィックを受け入れるかどうかについては何も語っておらず、それは自分で監視すべき別の軸である。SLAと稼働率保証を参照。
懐疑的に見るべき用語
3つのフレーズは、見た目ほどの情報を伝えていない。
「無制限」。 常にどの側面において無制限なのかを尋ねること。無制限の同時接続数には意味があるが、レジデンシャル製品における無制限の帯域幅は通常そうではなく、それが表示されている場合、たいてい別の制限がその役割を担っている。
「成功率99.9%」。 サードパーティのサイトが自分のトラフィックを受け入れるかどうかをプロバイダーが制御できるはずはなく、任意のターゲットに対する成功率の主張は誰にも守れない約束である。代わりに自分のターゲットでテストすること。速度、成功率、位置精度のテスト方法を参照。
数千万規模のプールサイズ。 検証不可能であり、結果を左右するものでもない。重要なのは収集する場所での密度であり、それはマーケティングページではなく自分自身の測定結果に表れる。プールが謳い文句通りのものかどうかを確認したい場合は、データセンターIPがレジデンシャルとして販売されているのを見分ける方法を参照。
結論
語彙のほとんどは4つの意思決定に集約される。どの種類のアドレスが必要か、どのようにローテーションすべきか、どこに位置すべきか、そしてどのように課金されるか、である。それ以外はすべて、どんな仕様書よりも自分自身のテストの方がよく答えてくれる品質の問題か、購入後に直面する運用上の問題のいずれかである。ある用語が測定可能な何かを説明するのではなく説得力を発揮するために使われているときは、それをマーケティングとみなし、実際に自分で測定しに行くこと。
これを実際の製品と比較する準備ができたら、レジデンシャルプロキシは上記で説明したローテーション、スティッキー、国別、都市別の各ケースを1つのゲートウェイでカバーし、GB単位の価格設定により、予測した数字がそのまま支払う数字になる。プランレベルの意思決定については適切なレジデンシャルプロキシプランの選び方を参照。