Sie stellen Ihr Gateway so ein, dass es bei jeder Anfrage rotiert, führen einen Job aus und sehen sich das Log an. Dieselbe Residential-Adresse taucht innerhalb einer Stunde dreimal auf. Am nächsten Tag sind viele der gestrigen Adressen wieder da. Ist die Rotation defekt, oder funktionieren Pools eben so?
Teils funktionieren Pools tatsächlich so, teils ist es ein Signal, das sich zu lesen lohnt. Wenn Sie sich auf ein rotierendes Residential-Proxy-Netzwerk verlassen, sagt Ihnen die Unterscheidung viel über den Pool hinter dem Gateway. Dieser Leitfaden erklärt, warum Adressen wiederkehren, welche zwei Kennzahlen Atlas zur Messung verwendet und wie Sie einen Anbieter selbst prüfen können.
Warum es überhaupt zu Wiederholungen kommt
Ein rotierender Proxy liefert Ihnen pro Anfrage oder pro Intervall einen anderen Exit, greift dabei aber auf eine endliche Menge von Adressen zurück, die in Ihrem Land gerade online sind. Zufällige Ziehungen aus einer endlichen Menge wiederholen sich früher, als die Intuition vermuten lässt.
Ein anschauliches Beispiel: Angenommen, tausend Adressen sind in Ihrem Zielland online, und das Gateway wählt pro Anfrage zufällig eine aus. Schon nach etwa vierzig Anfragen ist es wahrscheinlicher als nicht, dass Sie eine Adresse zweimal gesehen haben. Das ist dieselbe Rechnung wie beim Geburtstagsproblem, und sie bedeutet, dass eine einzelne Wiederholung für sich genommen nichts beweist.
Gateways wählen außerdem nicht zufällig. Sie bevorzugen tendenziell Adressen, die schnell sind und lange online bleiben, wodurch sich der Datenverkehr auf einen stabilen Kern konzentriert. Eine enge Zielvorgabe, etwa nach Stadt, verkleinert die Menge weiter.
Wiederholungen innerhalb eines Tages und über mehrere Tage
Zwei Arten von Wiederholungen sehen im Log ähnlich aus, bedeuten aber Unterschiedliches.
Innerhalb einer Session oder eines Tages spiegeln Wiederholungen vor allem wider, wie viele Adressen in Ihrem Ausschnitt online sind und wie stark Sie ihn beanspruchen. Senden Sie pro Stunde mehr Anfragen, als der Ausschnitt verkraftet, steigen die Wiederholungen. Das ist eine Frage der Kapazität, und sie variiert je nach Land und Tageszeit.
Über mehrere Tage sagen Wiederholungen etwas über den Pool selbst aus. Residential-Adressen verändern sich auf natürliche Weise: Geräte gehen offline, Haushalte starten ihre Router neu, Internetanbieter weisen Adressen neu zu. Ein großer, echter Residential-Pool sieht deshalb von einem Tag zum nächsten merklich anders aus. Wenn Sie jeden Morgen von derselben Menge an Adressen begrüßt werden, ist der Pool kleiner, als er wirkt, oder das Gateway stützt sich stark auf eine feste Gruppe dauerhaft verfügbarer Exits.
Das zweite Muster ist wichtig, weil Zielseiten pro Adresse eine Reputation führen. Adressen, die täglich dieselbe Seite aufrufen, bauen dort eine Historie auf, und eine Historie ist es, die dazu führt, dass eine Adresse gedrosselt oder blockiert wird.
Was Pool-Churn misst
Pool-Churn ist der Anteil der Exits in einem Zeitfenster, die in keinem früheren Zeitfenster gesehen wurden. Er beantwortet die Frage: Wie viel von dem, was ich heute erhalten habe, ist wirklich neu?
- Hoher Churn bedeutet, dass laufend frische Adressen hinzukommen. Für rotierende Workloads ist das in der Regel erwünscht.
- Niedriger Churn bedeutet, dass der Pool bereits gesehene Adressen wiederverwertet.
Churn braucht eine Historie, um aussagekräftig zu sein. Im allerersten gemessenen Zeitfenster ist jede Adresse per Definition neu, die Kennzahl wird also erst informativ, wenn ein Netzwerk eine Weile beobachtet wurde.
Churn hat bei langen Sessions außerdem seinen Preis. Adressen, die schnell wechseln, sind Adressen, die mitten in der Session verschwinden. Wenn Ihre Arbeit minutenlang dieselbe Adresse benötigt, sehen Sie sich an, wie lange Sticky Sessions tatsächlich halten, eine separate Kennzahl, statt hohen Churn pauschal als gut zu werten.
Was Wiederholte IPs messen
Wiederholte IPs ist der Anteil der unterschiedlichen Exits in einem 7-Tage- oder 30-Tage-Fenster, die an zwei oder mehr Tagen aufgetreten sind. Für ein 24-Stunden-Fenster wird sie nicht angezeigt, da dieses keine mehrtägige Wiederholung enthalten kann.
Ein rotierender Residential-Pool sollte diesen Wert niedrig halten. Ein hoher Wert bedeutet einen Bestand, der sich wie statische Adressen verhält: Es sind Tag für Tag dieselben Exits, unabhängig davon, was die Produktseite über Rotation behauptet.
Hintergründe dazu, warum Residential-Pools überhaupt fluktuieren, finden Sie in wie Anbieter Residential-IP-Pools aufbauen und auffrischen.
Beide Kennzahlen zusammen lesen
Keine der beiden Kennzahlen genügt allein. Zusammen beschreiben sie die Form eines Pools:
- Hoher Churn, wenige Wiederholungen. Ein großer, lebendiger Pool. Das meiste, was Sie erhalten, ist neu, und wenig davon bleibt tagelang bestehen.
- Niedriger Churn, viele Wiederholungen. Ein kleiner, wiederverwerteter Pool. Sie begegnen immer wieder denselben Adressen, und nur wenige neue kommen hinzu.
- Hoher Churn, viele Wiederholungen. Ein stabiler Kern mit fluktuierendem Rand. Das Gateway leitet einen großen Teil Ihres Datenverkehrs an eine feste Gruppe, während neue Adressen an den Rändern durchlaufen.
Eine dritte Kennzahl hilft zusätzlich: Anfragen pro Exit-IP, also die Anzahl aufeinanderfolgender Anfragen, die eine Adresse bedient hat, bevor das Gateway Sie weitergeleitet hat. Sie trennt ein Produkt, das tatsächlich rotiert, von einem, das sich unauffällig wie eine Sticky Session verhält, was auch immer die Bezeichnung sagt. Der Beitrag Sticky und rotierende Residential-Proxys behandelt, wann Sie welche Variante benötigen.
Wie Atlas misst
Atlas erfasst für jedes Netzwerk nach demselben Zeitplan bei jeder Anfrage die Exit-Adresse, die das Ziel gesehen hat, in Fünf-Minuten-Intervallen. Session- und Rotationseinstellungen bleiben auf den Standardwerten des jeweiligen Anbieters, sodass die Kennzahlen das Produkt so beschreiben, wie es verkauft wird.
Aus diesem Datenstrom berechnet Atlas den Churn gegenüber allen früheren Zeitfenstern und die Wiederholungen über 7 und 30 Tage. Da jedes Netzwerk zu denselben Zeiten dieselben Anfragen erhält, spiegelt ein Unterschied bei Churn oder Wiederholungen den Pool wider, nicht den Test. Die genauen Definitionen von Churn und wiederholten IPs stehen in der Methodik, und die Zahlen eindeutiger IPs für jedes getestete Netzwerk geben den Maßstab an, auf den sich jede Kennzahl bezieht.
Selbst nachmessen
Sie können beide Kennzahlen für jeden Anbieter mit nichts weiter als einem Log messen:
- Senden Sie rotierende Anfragen an einen Endpunkt, der die gesehene Adresse zurückgibt. Erfassen Sie für jede Anfrage die Adresse und einen Zeitstempel.
- Halten Sie Rate und Land konstant und führen Sie den Test jeden Tag zu denselben Uhrzeiten durch.
- Bilden Sie am Ende jedes Tages die Menge der unterschiedlichen Adressen dieses Tages.
- Churn: Zählen Sie, wie viele der heutigen Adressen in keiner früheren Tagesmenge vorkommen, und teilen Sie durch die heutige Gesamtzahl.
- Wiederholungen: Zählen Sie nach einer Woche die Adressen, die an zwei oder mehr Tagen vorkommen, und teilen Sie durch alle unterschiedlichen Adressen der Woche.
- Lassen Sie zwei Anbieter im selben Zeitfenster parallel laufen, wenn Sie sie vergleichen möchten.
Eine Woche Logs aus Ihrer eigenen Workload überzeugt mehr als jede Rotationszusage, und sie zeigt genau, wie sich der Pool auf den Seiten verhalten wird, auf die es Ihnen ankommt.