Proxy-Anbieter werben mit der Poolgröße: Millionen von IPs, Hunderte Millionen. Die Poolgröße ist wichtig, aber sie verdeckt eine zweite Frage, die für die Zuverlässigkeit genauso wichtig ist: Aus wie vielen verschiedenen Netzwerken stammen diese Adressen. Ein Pool mit zehn Millionen IPs auf einer Handvoll Netzwerke verhält sich sehr anders als einer, der über Tausende verteilt ist.
Jede IP-Adresse gehört zu einem Netzwerk, das von einer Organisation betrieben wird, identifiziert durch eine Autonomous System Number (ASN). Bei Residential Proxies ist die ASN meist ein Consumer-Internetanbieter. Dieser Artikel erklärt, warum die Verteilung eines Pools über ASNs wichtig ist, wie man sie anhand einer Stichprobe von Exits misst und wie man die Zahlen liest.
Warum ASN-Diversität wichtig ist
Websites und Anti-Bot-Systeme beurteilen eine IP-Adresse selten für sich allein. Sie beurteilen sie im Kontext, und das Netzwerk ist eines der stärksten Kontextmerkmale, das ihnen zur Verfügung steht.
- Blocks verteilen sich nach Netzwerk. Wenn eine Seite Missbrauch von vielen Adressen in einem Netzwerk feststellt, kann sie das gesamte Netzwerk drosseln oder herausfordern. Ein Pool, der sich auf wenige ASNs konzentriert, ist dem ausgesetzt: Eine Entscheidung auf Netzwerkebene betrifft einen großen Teil deines Traffics.
- Reputation wird geteilt. Adressen im selben Netzwerk erben einen Teil seiner Reputation. Ein diverser Pool ist weniger betroffen, wenn die Reputation eines Netzwerks sinkt.
- Hosting-Netzwerke verraten sich selbst. Ein „Residential“-Pool mit einem nennenswerten Anteil an Adressen in Hosting- oder Rechenzentrumsnetzwerken ist nicht wirklich residential, und Seiten behandeln diese Adressen entsprechend.
- Lokaler Realismus braucht lokale Netzwerke. Wenn du Daten so sammelst, wie sie aus einem Land oder einer Stadt erscheinen, sollten sich die Exits über die Anbieter verteilen, die die Menschen dort tatsächlich nutzen.
Das ist auch der Grund, warum das Anvisieren eines bestimmten Netzwerks für manche Aufgaben sinnvoll ist. Unser Leitfaden zum ASN-Targeting für Residential Proxies behandelt, wann man Anfragen auf einen Anbieter festlegt, was der gegenteilige Fall ist: bewusste Konzentration für einen bestimmten Test.
Wie „divers“ aussehen sollte
Reale Internetmärkte sind konzentriert. In den meisten Ländern bedienen ein paar große Anbieter die Mehrheit der Haushalte, dahinter ein langer Schwanz kleinerer regionaler und mobiler Netzwerke. Ein gesunder Residential-Pool spiegelt diese Form wider: ein paar große Consumer-ISPs, die einen guten Anteil der Exits tragen, und viele kleinere Netzwerke dahinter.
Das Ziel ist also nicht perfekt gleiche Anteile über alle Netzwerke. Es sind zwei Dinge:
- Kein einzelnes Netzwerk dominiert über das hinaus, was der Internetmarkt dieses Landes erklären würde.
- Ein langer Schwanz existiert: viele verschiedene Netzwerke, sodass ein Block auf einem von ihnen nur einen kleinen Teil des Traffics betrifft.
Wie man es misst
Du kannst nicht den gesamten Pool eines Anbieters sehen, aber du kannst ihn stichprobenartig erfassen. Sende Anfragen über das rotierende Gateway, erfasse, von welcher IP und welchem Netzwerk jede Anfrage austritt, und berechne Konzentrationskennzahlen über die Stichprobe.
Vier Kennzahlen decken das meiste ab, worauf es ankommt:
| Kennzahl | Was sie misst | Wie man sie liest |
|---|---|---|
| Unterschiedliche ASNs | Wie viele Netzwerke in der Stichprobe vorkommen | Höher ist besser; wächst mit der Stichprobengröße |
| Top-1- und Top-5-Anteil | Der Anteil der Exits auf dem größten einen bzw. den größten fünf Netzwerken | Niedriger bedeutet weniger Abhängigkeit von Entscheidungen eines einzelnen Netzwerks |
| Herfindahl-Hirschman-Index (HHI) | Die Summe der quadrierten Anteile, von nahe 0 (verteilt) bis 1 (ein Netzwerk) | Das Standardmaß für Marktkonzentration |
| Effektive Anzahl ASNs | 1 / HHI: wie vielen gleich großen Netzwerken sich die Stichprobe verhaltensmäßig annähert | Die intuitivste Einzelkennzahl |
Füge eine weitere Prüfung hinzu, bei der es nicht um Konzentration geht: der Anteil der Exits in nicht-residential Netzwerken. Bei einem Residential-Pool sollte dieser nahe null liegen.
Das folgende Modul erstellt eine Stichprobe von Exits über einen Proxy mithilfe von ip-info.com, unserer kostenlosen IP-Geolocation-API, die für jede Adresse die ASN, den Netzwerknamen und ob es sich um ein Residential- oder Hosting-Netzwerk handelt, zurückgibt, und berechnet die Kennzahlen:
from collections import Counter
import requests
def sample_exit(proxy_url, get=requests.get):
"""Ein Exit über einen rotierenden Proxy: seine IP, sein Netzwerk (ASN) und sein Netzwerktyp."""
info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}
def diversity(exits):
"""Wie verteilt eine Stichprobe von Exits über Netzwerke ist."""
exits = list({e["ip"]: e for e in exits}.values()) # jede IP einmal zählen
counts = Counter(e["asn"] for e in exits)
n = len(exits)
shares = sorted((c / n for c in counts.values()), reverse=True)
hhi = sum(s * s for s in shares) # Herfindahl-Hirschman-Index, 0 bis 1
return {
"unique_ips": n,
"asns": len(counts),
"top1_share": round(shares[0], 3),
"top5_share": round(sum(shares[:5]), 3),
"hhi": round(hhi, 4),
"effective_asns": round(1 / hhi, 1), # so viele gleich große Netzwerke wie dies
"non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
}Zwei anschauliche Stichproben von je 1.000 Exits zeigen, wie unterschiedlich sich ein breiter und ein schmaler Pool lesen lassen (synthetische Daten, keine echten Anbieter):
import random
from asn_diversity import diversity
random.seed(7)
# Anschauliche Stichproben von 1.000 Exits aus zwei Pools (synthetisch, keine echten Anbieter)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))broad {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}Der breite Pool verhält sich wie 57 gleich große Netzwerke, und sein größtes Netzwerk trägt unter 3% der Exits. Der schmale Pool verhält sich wie weniger als drei: die Hälfte aller Exits liegt auf einem Netzwerk, und jeder Exit liegt auf einem von vier. Bei dem schmalen Pool würde ein einzelner Block auf Netzwerkebene der größten ASN die Hälfte deiner Anfragen stoppen.
Eine faire Stichprobe erhalten
Ein paar Vorsichtsmaßnahmen halten die Messung ehrlich:
- Stichprobe pro Land. Diversität ergibt nur innerhalb eines Marktes einen Sinn. Das Mischen von Ländern bläht die ASN-Anzahl auf, ohne dir etwas über eines davon zu sagen.
- Genügend Anfragen verwenden. Die Anzahl der unterschiedlichen ASNs wächst weiter mit der Stichprobengröße, also vergleiche Pools bei derselben Stichprobengröße. Tausend Exits pro Land sind ein vernünftiger Anfang; Anteile und HHI stabilisieren sich schneller als die Anzahl.
- Jede IP einmal zählen. Rotierende Pools können dieselbe Adresse mehr als einmal zurückgeben. Das obige Modul dedupliziert nach IP.
- Die Stichprobe über die Zeit verteilen. Residential-Pools verändern sich im Tagesverlauf, da Geräte kommen und gehen. Eine Stichprobe über mehrere Stunden gibt ein wahrheitsgetreueres Bild als ein einzelner Burst.
- Dieselbe Lookup-Quelle für jeden Pool verwenden. Unterschiedliche Geolocation-Datenbanken können eine Adresse leicht unterschiedlichen Netzwerken zuordnen.
Was das bei der Wahl eines Anbieters bedeutet
Poolgröße und ASN-Diversität beantworten unterschiedliche Fragen. Die Größe sagt dir, wie viele Adressen du bekommen könntest; die Diversität sagt dir, wie exponiert dein Traffic gegenüber den Entscheidungen eines einzelnen Netzwerks ist. Frage bei der Bewertung von Anbietern nach beidem und überprüfe es mit einer eigenen Stichprobe in den Ländern, die dich interessieren.
Dasselbe Denken gilt für feste IPs. Wenn du ISP-Proxies für lange Sitzungen kaufst, vermeidest du durch die Verteilung über mehrere Anbieter und Städte, dass jede Identität auf einem einzigen Netzwerk liegt. Unser Leitfaden zum Kauf von ISP-Proxies, ohne Geld zu verschwenden enthält ein Skript zur Überprüfung einer Charge von Test-IPs, und unsere ISP-Proxies lassen dich Stadt und ISP für jede IP wählen. Wie ein Anbieter seine Adressen beschafft, prägt ebenfalls die Diversität; unser Erklärartikel darüber, wie Anbieter Residential-IPs ethisch beschaffen, behandelt, wonach man fragen sollte.
FAQ
Was ist ASN-Diversität in einem Proxy-Netzwerk?
Wie breit die IP-Adressen eines Proxy-Pools über verschiedene Netzwerke (Autonome Systeme) verteilt sind. Ein diverser Pool hat viele Netzwerke, bei denen keines dominiert; ein konzentrierter Pool hat die meisten Adressen auf wenigen.
Warum ist ASN-Diversität wichtig für Scraping?
Seiten handeln oft gegen ganze Netzwerke, nicht gegen einzelne Adressen. Wenn die meisten deiner Exits sich ein Netzwerk teilen, kann ein einzelner Block auf Netzwerkebene einen großen Teil deiner Anfragen betreffen.
Wie messe ich ASN-Diversität?
Sende eine Stichprobe von Anfragen über den Proxy, erfasse die ASN jedes Exits und berechne den Anteil der größten Netzwerke, den Herfindahl-Hirschman-Index und die effektive Anzahl der Netzwerke. Erstelle Stichproben pro Land, über die Zeit verteilt und in derselben Größe für jeden Pool, den du vergleichst.
Ist ein größerer Proxy-Pool immer diverser?
Nein. Ein großer Pool kann trotzdem auf wenige Netzwerke konzentriert sein. Poolgröße und Netzwerkdiversität sind getrennte Messgrößen.
Fazit
IP-Zahlen messen die Größe eines Pools; ASN-Diversität misst seine Widerstandsfähigkeit. Erfasse Exits pro Land stichprobenartig, zähle jede IP einmal und betrachte die effektive Anzahl der Netzwerke, den Anteil des größten Netzwerks und den Anteil nicht-residentieller Exits. Ein gesunder Residential-Pool spiegelt den lokalen Internetmarkt wider: ein paar große Consumer-ISPs und ein langer Schwanz dahinter, wobei kein einzelnes Netzwerk einen unverhältnismäßig großen Anteil deines Traffics trägt.