プロキシプロバイダーはプール規模を宣伝する。数百万のIP、あるいは数億のIPというように。プール規模は重要だが、それは信頼性にとって同じくらい重要な別の問題を覆い隠している。それらのアドレスがどれだけ多くの異なるネットワークから来ているかという問題だ。1,000万のIPが一握りのネットワークに集中しているプールは、数千のネットワークに分散しているプールとはまったく異なる振る舞いをする。
すべてのIPアドレスは、自律システム番号(ASN)によって識別される、ある組織が運用するネットワークに属している。レジデンシャルプロキシの場合、そのASNは通常コンシューマー向けのインターネットプロバイダーである。この記事では、プールがASN間でどれだけ分散しているかがなぜ重要なのか、出口のサンプルからそれを測定する方法、そして数値の読み方について説明する。
なぜASNの多様性が重要なのか
ウェブサイトやアンチボットシステムは、IPアドレス単体で判断することはほとんどない。文脈の中で判断するのであり、ネットワークはその文脈の中でも最も強力な要素のひとつだ。
- ネットワーク単位で広がるブロック。 あるサイトが1つのネットワーク上の多数のアドレスから不正利用を検知すると、そのネットワーク全体にレート制限やチャレンジを課すことがある。少数のASNに集中したプールはこのリスクにさらされる。1つのネットワークレベルの判断が、トラフィックの大きな割合に影響する。
- レピュテーションは共有される。 同じネットワーク上のアドレスは、そのネットワークのレピュテーションの一部を引き継ぐ。多様なプールであれば、1つのネットワークのレピュテーションが低下しても影響を受けにくい。
- ホスティングネットワークは正体を明かす。 ホスティングネットワークやデータセンターネットワーク上のアドレスがかなりの割合を占める「レジデンシャル」プールは、完全にはレジデンシャルとは言えず、サイト側もそれに応じてそれらのアドレスを扱う。
- 現地らしさには現地のネットワークが必要。 ある国や都市から見えるデータを収集する場合、出口はその地域の人々が実際に利用しているプロバイダーに分散しているべきだ。
これは、特定のネットワークをターゲティングすることが一部の作業で有用である理由でもある。レジデンシャルプロキシにおけるASNターゲティングに関する当社のガイドでは、リクエストを1つのプロバイダーに固定すべき場合について解説している。これは逆のケース、つまり特定のテストのために意図的に集中させる場合だ。
「多様」とはどのような状態を指すか
現実のインターネット市場は集中している。ほとんどの国では、少数の大手プロバイダーが大多数の世帯にサービスを提供しており、その背後には小規模な地域ネットワークやモバイルネットワークのロングテールが存在する。健全なレジデンシャルプールはこの形を反映する。つまり、少数の大手コンシューマーISPが出口のかなりの割合を占め、その背後に多数の小規模ネットワークが存在するという形だ。
したがって目標は、ネットワーク間でシェアを完全に均等にすることではない。目指すべきは次の2点だ。
- 単一のネットワークが支配的にならないこと。 その国のインターネット市場の実態で説明できる範囲を超えて支配的にならないこと。
- ロングテールが存在すること。 多数の異なるネットワークが存在し、そのいずれか1つがブロックされてもトラフィックのごく一部にしか影響しないこと。
測定方法
プロバイダーのプール全体を見ることはできないが、サンプリングすることはできる。ローテーティングゲートウェイ経由でリクエストを送信し、各リクエストがどのIPおよびネットワークから出口するかを記録し、そのサンプルに対して集中度の指標を計算する。
重要な点の大部分は、次の4つの指標でカバーできる。
| Metric | What it measures | How to read it |
|---|---|---|
| 固有ASN数 | サンプル中に出現するネットワークの数 | 多いほど良い。サンプルサイズが大きくなるほど増加する |
| トップ1およびトップ5シェア | 最大の1つおよび5つのネットワーク上の出口の割合 | 低いほど、1つのネットワークの判断にさらされるリスクが小さいことを意味する |
| ハーフィンダール・ハーシュマン指数(HHI) | シェアの2乗の合計。0に近いほど分散しており、1は1つのネットワークに集中していることを示す | 市場集中度の標準的な測定方法 |
| 実効ASN数 | 1 / HHI。サンプルが、同じ規模のネットワークがいくつ存在する場合と同じように振る舞うか | 最も直感的な単一の数値 |
集中度とは関係のないチェックをもう1つ加えよう。非レジデンシャルネットワーク上の出口の割合だ。レジデンシャルプールであれば、これはゼロに近いはずだ。
以下のモジュールは、当社の無料IPジオロケーションAPIであるip-info.comを使ってプロキシ経由の出口をサンプリングする。このAPIは各アドレスのASN、ネットワーク名、そしてそれがレジデンシャルネットワークかホスティングネットワークかを返し、モジュールはそれらの指標を計算する。
from collections import Counter
import requests
def sample_exit(proxy_url, get=requests.get):
"""ローテーティングプロキシ経由の1つの出口: そのIP、ネットワーク(ASN)、ネットワークタイプ。"""
info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}
def diversity(exits):
"""出口のサンプルがネットワーク間でどれだけ分散しているか。"""
exits = list({e["ip"]: e for e in exits}.values()) # 各IPを1回だけ数える
counts = Counter(e["asn"] for e in exits)
n = len(exits)
shares = sorted((c / n for c in counts.values()), reverse=True)
hhi = sum(s * s for s in shares) # ハーフィンダール・ハーシュマン指数、0から1
return {
"unique_ips": n,
"asns": len(counts),
"top1_share": round(shares[0], 3),
"top5_share": round(sum(shares[:5]), 3),
"hhi": round(hhi, 4),
"effective_asns": round(1 / hhi, 1), # 同じ規模のネットワークがこの数だけ存在する場合と同等
"non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
}1,000件の出口からなる2つの例示的なサンプルで、広範なプールと狭いプールの読み方がどれほど異なるかを示す(合成データであり、実在のプロバイダーではない)。
import random
from asn_diversity import diversity
random.seed(7)
# 2つのプールから得られた1,000件の出口の例示的なサンプル(合成データであり、実在のプロバイダーではない)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))broad {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}広範なプールは57個の同規模のネットワークのように振る舞い、最大のネットワークが占める出口の割合は3%未満だ。狭いプールは3個未満のネットワークのように振る舞う。全出口の半分が1つのネットワークに集中しており、すべての出口が4つのネットワークのいずれかに属している。狭いプールでは、最大のASNに対する単一のネットワークレベルのブロックによって、リクエストの半分が止まってしまうことになる。
公平なサンプルを得る
測定を正確に保つためのいくつかの注意点を挙げる。
- 国ごとにサンプリングする。 多様性は1つの市場の中でのみ意味を持つ。複数の国を混ぜるとASN数が水増しされるだけで、どの国についても何も示さなくなる。
- 十分な数のリクエストを使う。 固有ASN数はサンプルサイズとともに増え続けるため、プール同士を比較する際は同じサンプルサイズで行う。国ごとに1,000件の出口を使うのが妥当な出発点だ。シェアとHHIは、ASN数よりも速く安定する。
- 各IPを1回だけ数える。 ローテーティングプールは同じアドレスを複数回返すことがある。上記のモジュールはIPによって重複を除去している。
- サンプリングを時間的に分散させる。 レジデンシャルプールはデバイスの出入りにより1日を通じて変化する。数時間にわたってサンプリングする方が、一度にまとめて行うよりも実態に近い結果が得られる。
- すべてのプールで同じ検索ソースを使う。 ジオロケーションデータベースが異なると、同じアドレスでも若干異なるネットワークに割り当てられることがある。
プロバイダーを選ぶ際の意味
プール規模とASNの多様性は、異なる問いに答えるものだ。規模はどれだけ多くのアドレスを得られるかを教えてくれる。多様性は、トラフィックが単一のネットワークの判断にどれだけさらされているかを教えてくれる。プロバイダーを評価する際は両方を確認し、重要な国について自分自身のサンプルで検証すること。
同じ考え方は固定IPにも当てはまる。長時間のセッション用にISPプロキシを購入する場合、複数のプロバイダーや都市に分散させることで、すべてのIDが1つのネットワークに集中することを避けられる。お金を無駄にせずにISPプロキシを購入する方法に関する当社のガイドには、トライアルIPのバッチをチェックするためのスクリプトが含まれており、当社のISPプロキシでは、すべてのIPについて都市とISPを選択できる。プロバイダーがアドレスをどのように調達するかも多様性を左右する。プロバイダーが倫理的にレジデンシャルIPを調達する方法に関する当社の解説記事では、確認すべき点を取り上げている。
よくある質問
プロキシネットワークにおけるASNの多様性とは何か?
プロキシプールのIPアドレスが、異なるネットワーク(自律システム)間にどれだけ広く分散しているかを示す。多様なプールには多数のネットワークが存在し、単一のネットワークが支配的になることはない。集中したプールでは、大半のアドレスが少数のネットワークに存在する。
スクレイピングにおいてASNの多様性がなぜ重要なのか?
サイトは単一のアドレスではなく、ネットワーク全体に対して対処することが多い。出口の大半が1つのネットワークを共有している場合、1つのネットワークレベルのブロックによってリクエストの大部分が影響を受ける可能性がある。
ASNの多様性はどのように測定するのか?
プロキシ経由でリクエストのサンプルを送信し、各出口のASNを記録し、最大のネットワークのシェア、ハーフィンダール・ハーシュマン指数、そして実効ネットワーク数を計算する。国ごとに、時間をかけて、そして比較する各プールで同じサンプルサイズでサンプリングを行う。
プロキシプールが大きければ常により多様なのか?
いいえ。大きなプールであっても、少数のネットワークに集中している可能性がある。プール規模とネットワークの多様性は別個の測定値だ。
まとめ
IP数はプールの規模を測定し、ASNの多様性はその堅牢性を測定する。国ごとに出口をサンプリングし、各IPを1回だけ数え、実効ネットワーク数、トップネットワークのシェア、そして非レジデンシャル出口の割合に注目すること。健全なレジデンシャルプールは、現地のインターネット市場を反映する。すなわち、少数の大手コンシューマーISPとその背後のロングテールがあり、単一のネットワークがトラフィックの過大な割合を占めることはない。