ASN-Vielfalt in Residential-Proxy-Pools: So misst man sie

Proxy-Anbieter werben mit der Poolgröße: Millionen von IPs, Hunderte Millionen. Die Poolgröße ist wichtig, aber sie verdeckt eine zweite Frage, die für die Zuverlässigkeit genauso wichtig ist: aus wie vielen verschiedenen Netzwerken diese Adressen stammen. Ein Pool mit zehn Millionen IPs auf einer Handvoll Netzwerke verhält sich ganz anders als einer, der über Tausende verteilt ist.

ASN-Diversität beschreibt, wie breit die Adressen eines Proxy-Pools über verschiedene Netzwerke verteilt sind. Jede IP-Adresse gehört zu einem Netzwerk, das von einer Organisation betrieben und durch eine autonome Systemnummer (ASN) identifiziert wird. Ein diverser Pool bezieht seine Exits aus vielen Netzwerken, ohne dass eines davon einen überproportionalen Anteil trägt; ein konzentrierter Pool liegt größtenteils auf wenigen.

Bei Residential Proxies ist die ASN in der Regel ein Internetanbieter für Privatkunden. Dieser Artikel erklärt, warum die Verteilung eines Pools über ASNs wichtig ist, wie man sie anhand einer Stichprobe von Exits mit einem kostenlosen Python-Skript misst, und wie man die Zahlen liest, anhand echter Werte aus unserem eigenen Benchmark.

Warum ASN-Diversität für die Zuverlässigkeit von Proxys wichtig ist

Websites und Anti-Bot-Systeme beurteilen eine IP-Adresse selten für sich allein. Sie beurteilen sie im Kontext, und das Netzwerk ist eines der stärksten Kontextmerkmale, das ihnen zur Verfügung steht.

• Blockaden verteilen sich nach Netzwerk. Wenn eine Seite Missbrauch von vielen Adressen in einem Netzwerk feststellt, kann sie das gesamte Netzwerk drosseln oder herausfordern. Ein Pool, der sich auf wenige ASNs konzentriert, ist dem ausgesetzt: Eine Entscheidung auf Netzwerkebene betrifft einen großen Teil Ihres Traffics.
• Reputation wird geteilt. Adressen im selben Netzwerk erben einen Teil seiner Reputation. Ein diverser Pool ist weniger betroffen, wenn die Reputation eines Netzwerks sinkt.
• Hosting-Netzwerke verraten das Spiel. Ein „Residential“-Pool mit einem nennenswerten Anteil an Adressen in Hosting- oder Rechenzentrumsnetzwerken ist nicht wirklich residential, und Seiten behandeln diese Adressen entsprechend.
• Lokaler Realismus braucht lokale Netzwerke. Wenn Sie Daten so erfassen, wie sie aus einem Land oder einer Stadt gesehen werden, sollten die Exits über die Anbieter verteilt sein, die die Menschen dort tatsächlich nutzen.

Deshalb ist das Ansteuern eines bestimmten Netzwerks für manche Aufgaben auch sinnvoll. Unser Leitfaden zum ASN-Targeting für Residential Proxies behandelt, wann es sinnvoll ist, Anfragen auf einen Anbieter festzulegen, was der gegenteilige Fall ist: gezielte Konzentration für einen bestimmten Test.

Wie ein diverser Residential-Pool aussehen sollte

Reale Internetmärkte sind konzentriert. In den meisten Ländern bedienen einige wenige große Anbieter die Mehrheit der Haushalte, dahinter ein langer Schwanz kleinerer regionaler und mobiler Netzwerke. Ein gesunder Residential-Pool spiegelt diese Form wider: einige wenige große Internetanbieter für Privatkunden, die einen guten Anteil der Exits tragen, und dahinter viele kleinere Netzwerke.

Das Ziel ist also nicht perfekt gleiche Anteile über alle Netzwerke. Es sind zwei Dinge:

1. Kein einzelnes Netzwerk dominiert über das hinaus, was der Internetmarkt dieses Landes erklären würde.
2. Es existiert ein langer Schwanz: viele unterschiedliche Netzwerke, sodass eine Blockade eines einzelnen Netzwerks nur einen kleinen Anteil des Traffics betrifft.

Wie man ASN-Diversität in einem Proxy-Pool misst

Sie können nicht den gesamten Pool eines Anbieters sehen, aber Sie können ihn stichprobenartig erfassen. Senden Sie Anfragen über das rotierende Gateway, erfassen Sie, von welcher IP und welchem Netzwerk jede Anfrage austritt, und berechnen Sie Konzentrationskennzahlen über die Stichprobe.

Vier Kennzahlen decken das meiste Relevante ab:

Kennzahl	Was sie misst	Wie man sie liest
Unterschiedliche ASNs	Wie viele Netzwerke in der Stichprobe erscheinen	Höher ist besser; wächst mit der Stichprobengröße
Top-1- und Top-5-Anteil	Der Anteil der Exits auf dem größten einen und fünf Netzwerken	Niedriger bedeutet weniger Exposition gegenüber Entscheidungen eines Netzwerks
Herfindahl-Hirschman-Index (HHI)	Die Summe der quadrierten Anteile, von nahe 0 (verteilt) bis 1 (ein Netzwerk)	Das Standardmaß für Marktkonzentration
Effektive Anzahl von ASNs	1 / HHI: wie viele gleich große Netzwerke sich die Stichprobe verhält	Die intuitivste einzelne Zahl

Fügen Sie eine weitere Prüfung hinzu, bei der es nicht um Konzentration geht: den Anteil der Exits auf nicht-residentiellen Netzwerken. Bei einem Residential-Pool sollte dieser nahe null liegen.

Speichern Sie das folgende Modul als asn_diversity.py. Es erfasst Exits über einen Proxy mithilfe von ip-info.com, unserer kostenlosen IP-Geolokalisierungs-API, die für jede Adresse ASN, Netzwerkname und ob es sich um ein residentielles oder Hosting-Netzwerk handelt zurückgibt, und berechnet die Kennzahlen:

# asn_diversity.py
from collections import Counter

import requests


def sample_exit(proxy_url, get=requests.get):
    """One exit through a rotating proxy: its IP, network (ASN) and network type."""
    info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
    return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}


def diversity(exits):
    """How spread out a sample of exits is across networks."""
    exits = list({e["ip"]: e for e in exits}.values())          # count each IP once
    counts = Counter(e["asn"] for e in exits)
    n = len(exits)
    shares = sorted((c / n for c in counts.values()), reverse=True)
    hhi = sum(s * s for s in shares)                            # Herfindahl-Hirschman index, 0 to 1
    return {
        "unique_ips": n,
        "asns": len(counts),
        "top1_share": round(shares[0], 3),
        "top5_share": round(sum(shares[:5]), 3),
        "hhi": round(hhi, 4),
        "effective_asns": round(1 / hhi, 1),                    # as many equal-sized networks as this
        "non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
    }

Zwei anschauliche Stichproben mit je 1.000 Exits zeigen, wie unterschiedlich sich ein breiter und ein enger Pool lesen (synthetische Daten, keine echten Anbieter):

import random

from asn_diversity import diversity

random.seed(7)
# Illustrative samples of 1,000 exits from two pools (synthetic, not real providers)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
          for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))

broad  {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}

Der breite Pool verhält sich wie 57 gleich große Netzwerke, und sein größtes Netzwerk trägt weniger als 3 % der Exits. Der enge Pool verhält sich wie weniger als drei: die Hälfte aller Exits liegt auf einem Netzwerk, und jeder Exit liegt auf einem von vier. Bei dem engen Pool würde eine einzige Blockade auf Netzwerkebene des größten ASN die Hälfte Ihrer Anfragen stoppen.

Erfassung von 1.000 echten Exits über ein Gateway

Um einen echten Pool zu messen, richten Sie sample_exit auf ein rotierendes Gateway und erfassen Sie die Stichprobe parallel. Bei Shifter steht das Land im Benutzernamen, und jede Anfrage ohne Sitzungs-ID erhält einen neuen Exit:

from concurrent.futures import ThreadPoolExecutor

from asn_diversity import diversity, sample_exit

PROXY = "http://customer-USERNAME-country-gb:PASSWORD@p.shifter.io:443"


def safe_sample(_):
    try:
        return sample_exit(PROXY)
    except Exception:
        return None                                             # skip the odd timeout


with ThreadPoolExecutor(max_workers=20) as pool:
    exits = [e for e in pool.map(safe_sample, range(1000)) if e]
print(diversity(exits))

Führen Sie dasselbe Skript mit derselben Stichprobengröße und zur selben Stunde für jeden Anbieter aus, den Sie vergleichen.

Subnetz-(/24-)Diversität

ASNs sind nicht die einzige Gruppierung, die zählt. Seiten blockieren auch ganze Adressblöcke, am häufigsten das /24-Subnetz (die ersten drei Zahlen einer IPv4-Adresse). Zwei Exits im selben /24 teilen sich meist ein Gebäude, eine Straße oder ein Carrier-Grade-NAT, sodass eine Blockade des einen oft auch den anderen erfasst. Zwei zusätzliche Zeilen für dieselbe Stichprobe zählen sie:

subnets = Counter(".".join(e["ip"].split(".")[:3]) for e in exits)
print("distinct /24 subnets:", len(subnets), "largest subnet share:", round(max(subnets.values()) / len(exits), 3))

Eine gesunde residentielle Stichprobe hat fast so viele unterschiedliche /24-Subnetze wie unterschiedliche IPs.

Wie man eine faire ASN-Stichprobe erhält

Ein paar Vorsichtsmaßnahmen halten die Messung ehrlich:

• Stichprobe pro Land. Diversität ist nur innerhalb eines Marktes aussagekräftig. Das Mischen von Ländern treibt die ASN-Zahl künstlich nach oben, ohne etwas über einzelne Märkte auszusagen.
• Genug Anfragen verwenden. Die Anzahl unterschiedlicher ASNs wächst mit der Stichprobengröße weiter, vergleichen Sie Pools also bei derselben Stichprobengröße. Tausend Exits pro Land sind ein vernünftiger Anfang; Anteile und HHI stabilisieren sich schneller als die Anzahl.
• Jede IP einmal zählen. Rotierende Pools können dieselbe Adresse mehrfach zurückgeben. Das obige Modul dedupliziert nach IP.
• Stichprobe über die Zeit verteilen. Residential-Pools ändern sich im Tagesverlauf, während Geräte kommen und gehen. Eine Erfassung über mehrere Stunden ergibt ein wahrheitsgetreueres Bild als eine einzelne kurze Sequenz.
• Dieselbe Abfragequelle für jeden Pool verwenden. Unterschiedliche Geolokalisierungsdatenbanken können eine Adresse leicht unterschiedlichen Netzwerken zuordnen.

Was unser Benchmark ergab

Wir zählen unterschiedliche ASNs in jedem Durchlauf unseres Residential-Proxy-Benchmarks: Shifter und 16 weitere Netzwerke, jeweils mit derselben Anzahl an Anfragen pro Land vom selben Server. Diese Stichproben sind weit größer als 1.000 Exits (250.000 Anfragen in den Vereinigten Staaten, 60.000 bis 100.000 anderswo), sodass die Zählungen viel höher ausfallen als bei einem kleinen Test, aber sie sind zwischen Anbietern vergleichbar.

In den Vereinigten Staaten waren die fünf breitesten Pools:

Netzwerk	Unterschiedliche US-ASNs	Live-US-IPs
Shifter	1.828	212.212
Oxylabs	1.591	140.811
Decodo	1.578	138.914
Webshare	1.518	150.512
FleetProxy	1.482	112.402

Über die fünf Länder, die wir testen, sah der Vergleich zwischen Shifter und Webshare, dem stärksten Konkurrenten bei der Poolgröße, so aus:

Land	Shifter ASNs	Webshare ASNs
Vereinigte Staaten	1.828	1.518
Vereinigtes Königreich	166	209
Frankreich	147	96
Kanada	308	245
Deutschland	272	188

Das Vereinigte Königreich ist der einzige Markt, in dem Webshare breiter gestreut war: 209 Netzwerke gegenüber 166, ein Abstand von 43. Im selben Durchlauf lieferte Shifter mehr lebende UK-Adressen, 60.487 gegenüber 51.564, und der getestete Pool kostet ab $0,75 pro GB gegenüber Webshares niedrigstem veröffentlichten Tarif von $1,40, also etwas mehr als die Hälfte des Preises. Shifters gemessene Werte in Deutschland waren das Gegenteil von denen im UK: weniger lebende IPs als Webshare, aber 272 Netzwerke gegenüber 188.

ASN-Daten im Alltag nutzen

Sobald Sie die ASN-Verteilung messen können, helfen dieselben Daten auch in der täglichen Arbeit, nicht nur bei der Anbieterauswahl:

• Fehlschläge nach Netzwerk lesen. Wenn die Blockrate steigt, gruppieren Sie fehlgeschlagene Anfragen nach der ASN ihres Exits. Wenn sich die Fehlschläge auf ein oder zwei Netzwerke konzentrieren, handelt das Ziel gegen diese Netzwerke, und diese zu verteilen oder auszuschließen behebt mehr als bloßes Wiederholen.
• Einen Pool vor einem großen Auftrag prüfen. Eine schnelle Stichprobe von 1.000 Exits im Zielland zeigt Ihnen, ob der Pool dort breit genug für das geplante Volumen ist.
• Ein Netzwerk nur festlegen, wenn der Auftrag es erfordert. Manche Tests, etwa die Prüfung dessen, was die Kunden eines bestimmten Anbieters sehen, erfordern absichtlich Konzentration. ASN-Targeting erreicht das; der oben verlinkte Leitfaden behandelt, wann es sich lohnt.
• Die ASN bei jedem Ergebnis aufzeichnen. Wenn eine Zahl in einem Datensatz falsch wirkt, ist das Wissen, von welchem Netzwerk sie beobachtet wurde, oft die Erklärung.

ISP-Proxys und Netzwerkverteilung

Dieselbe Überlegung gilt für IPs, die Sie länger behalten. Wenn Sie statische Residential-Proxys für lange Sitzungen kaufen, vermeidet die Verteilung über mehrere Anbieter und Städte, dass jede Identität auf einem einzigen Netzwerk liegt. Unser Leitfaden zum Kauf von ISP-Proxys, ohne Geld zu verschwenden, enthält ein Skript zur Prüfung einer Charge von IPs, und unsere ISP-Proxys lassen Sie Stadt und ISP (ASN) für jede IP wählen, über 900+ ISPs in 1.800+ Städten. Wie ein Anbieter seine Adressen bezieht, prägt ebenfalls die Diversität; unser Erklärartikel zu wie Anbieter residentielle IPs ethisch beziehen behandelt, worauf man achten sollte.

FAQ

Fazit

IP-Zahlen messen die Größe eines Pools; ASN-Diversität misst seine Widerstandsfähigkeit. Erfassen Sie Exits pro Land, zählen Sie jede IP einmal, und betrachten Sie die effektive Anzahl von Netzwerken, den Anteil des größten Netzwerks, die Subnetzverteilung und den Anteil nicht-residentieller Exits. Ein gesunder Residential-Pool spiegelt den lokalen Internetmarkt wider: einige wenige große Internetanbieter für Privatkunden und dahinter ein langer Schwanz, ohne dass ein einzelnes Netzwerk einen überproportionalen Anteil Ihres Traffics trägt.