ゲートウェイをリクエストごとにローテーションするよう設定し、ジョブを実行してログを確認します。同じレジデンシャルIPアドレスが1時間に3回現れます。翌日には、前日のアドレスの多くが戻ってきます。ローテーションが壊れているのでしょうか、それともプールとはそういうものなのでしょうか。
一部はプールの仕組み上当然のことですが、一部は読み取る価値のあるシグナルです。ローテーティングレジデンシャルプロキシネットワークを利用しているなら、どちらなのかを見分けることで、ゲートウェイの背後にあるプールについて多くのことが分かります。このガイドでは、アドレスが戻ってくる理由、Atlasがそれを測定するために使う2つの指標、そしてプロバイダーを自分で検証する方法を説明します。
そもそもなぜ重複が起きるのか
ローテーティングプロキシは、リクエストごと、または一定間隔ごとに異なる出口を割り当てますが、その時点で対象の国でオンラインになっている有限のアドレス集合から選びます。有限の集合からランダムに選ぶと、直感よりも早く重複が起きます。
例を挙げます。対象の国で1,000個のアドレスがオンラインで、ゲートウェイがリクエストごとにランダムに1つ選ぶとします。わずか約40件のリクエストで、どこかのアドレスを2回見ている確率が半分を超えます。これは誕生日問題と同じ計算であり、重複が1回あっただけでは何も証明されません。
また、ゲートウェイはランダムに選ぶわけではありません。高速で、オンラインを保っているアドレスを優先する傾向があり、トラフィックが安定した中核部分に集中します。都市単位などの絞り込みを行うと、集合はさらに小さくなります。
1日以内の重複と日をまたぐ重複
ログ上では似て見えても、意味が異なる2種類の重複があります。
セッション内または1日以内の重複は、主に、対象範囲でオンラインのアドレスがどれだけあるか、そしてどれだけ負荷をかけているかを反映します。その範囲が処理できる量を超えて1時間あたりのリクエストを送ると、重複が増えます。これは容量の問題であり、国や時間帯によって変わります。
日をまたぐ重複は、プールそのものについて何かを示します。レジデンシャルIPアドレスは自然に入れ替わります。端末がオフラインになり、家庭でルーターが再起動され、インターネットプロバイダーがアドレスを再割り当てします。そのため、大規模で本物のレジデンシャルプールは、日ごとにはっきりと見え方が変わります。毎朝同じアドレスの集合が現れるなら、プールは見かけより小さいか、ゲートウェイが常時稼働の固定された出口グループに大きく依存しています。
この2つ目のパターンが重要なのは、対象サイトがアドレスごとにレピュテーションを保持しているからです。毎日同じサイトにアクセスするアドレスはそこで履歴を積み上げ、その履歴がレート制限やブロックの原因になります。
プールチャーンが測るもの
プールチャーンとは、ある期間内の出口のうち、それ以前のどの期間にも一度も見られなかったものの割合です。「今日得たもののうち、本当に新しいものはどれだけか」という問いに答えます。
- チャーンが高いとは、新しいアドレスが入り続けていることを意味します。ローテーションを使う作業では、通常これが望ましい状態です。
- チャーンが低いとは、すでに見たものをプールが再利用していることを意味します。
チャーンは履歴があって初めて意味を持ちます。最初に測定した期間では、定義上すべてのアドレスが新規なので、この数値はネットワークがある程度追跡されてから初めて有益になります。
長いセッションでは、チャーンにコストもあります。入れ替わりの早いアドレスは、セッションの途中で消えるアドレスでもあります。1つのアドレスを数分間使い続ける必要がある作業では、チャーンが高いことを単純に良いことと読むのではなく、別の指標であるスティッキーセッションが実際にどれだけ保持されるかを確認してください。
重複IPが測るもの
重複IPとは、7日間または30日間の期間内に確認された異なる出口のうち、2日以上にわたって現れたものの割合です。24時間の期間には複数日にまたがる重複が含まれ得ないため、この期間では表示されません。
ローテーティングレジデンシャルプールでは、この値は低く保たれるはずです。値が高い場合、そのインベントリは静的アドレスのように振る舞っています。製品ページにローテーションについてどう書かれていても、同じ出口が毎日使われているということです。
レジデンシャルプールがそもそも入れ替わる理由の背景については、プロバイダーがレジデンシャルIPプールを構築し更新する方法をご覧ください。
2つの指標を合わせて読む
どちらか一方の指標だけでは十分ではありません。合わせて読むと、プールの形が見えてきます。
- チャーンが高く、重複が低い。 大規模で活発なプールです。得られるアドレスの大半は新しく、数日にわたって残るものはほとんどありません。
- チャーンが低く、重複が高い。 小規模で再利用されているプールです。同じアドレスに繰り返し出会い、新しいアドレスはほとんど入ってきません。
- チャーンが高く、重複も高い。 安定した中核部分と、入れ替わる周辺部分があるプールです。ゲートウェイはトラフィックの多くを固定されたグループに送り、新しいアドレスは周辺部分を循環していきます。
3つ目の指標も役に立ちます。出口IPあたりのリクエスト数、つまりゲートウェイが別のアドレスに切り替えるまでに1つのアドレスが処理した連続リクエストの数です。これにより、本当にローテーションする製品と、ラベルとは裏腹に実質的にスティッキーセッションとして動作している製品を区別できます。それぞれがどのような場合に向いているかは、スティッキーとローテーティングのレジデンシャルプロキシの記事で解説しています。
Atlasの測定方法
Atlasは、すべてのネットワークに対して同じスケジュールで、各リクエストで対象サイトが確認した出口アドレスを5分間隔のバケットに記録します。セッションとローテーションの設定は各プロバイダーのデフォルトのままにしているため、数値は販売されている状態の製品を表しています。
このデータの流れから、過去のすべての期間に対するチャーンと、7日間および30日間にわたる重複を算出します。すべてのネットワークが同じ時刻に同じリクエストを受けるため、チャーンや重複の違いはテストではなくプールを反映しています。チャーンと重複IPの正確な定義は方法論に記載しており、テスト対象の全ネットワークのユニークIP数からは、各指標が適用される規模が分かります。
自分で測定する
ログさえあれば、どのプロバイダーについても両方の指標を測定できます。
- 受け取ったアドレスをそのまま返すエンドポイントに、ローテーションするリクエストを送ります。リクエストごとにアドレスとタイムスタンプを記録します。
- リクエストの頻度と国は固定し、毎日同じ時間帯に実行します。
- 毎日の終わりに、その日の異なるアドレスの集合を作成します。
- チャーン: 今日のアドレスのうち、それ以前のどの日の集合にも現れないものの数を数え、今日の総数で割ります。
- 重複: 1週間後に、2日以上にわたって現れたアドレスの数を数え、その週の異なるアドレスすべての数で割ります。
- 比較したい場合は、2つのプロバイダーを同じ期間に並行して実行します。
自分のワークロードで取った1週間分のログは、どんなローテーションの説明よりも説得力があり、関心のあるサイトでプールが実際にどう振る舞うかを正確に示してくれます。