Der Markt für Residential Proxys hat ein strukturelles Merkmal, über das öffentlich selten gesprochen wird: Viele der “Netzwerke”, bei denen Sie kaufen können, besitzen die meisten der Adressen, die sie verkaufen, gar nicht selbst. Sie kaufen bei einer kleineren Zahl von Betreibern im Großhandel ein und verkaufen einen Teil weiter. Manchmal steckt echter Mehrwert bei Routing, Targeting und Tooling dahinter, manchmal nur ein Aufschlag.
Das ist kein Skandal. Wiederverkauf ist in jedem Infrastrukturmarkt üblich, vom Mobilfunk bis zum Cloud-Hosting. Das Problem ist, dass er beim Kauf unsichtbar bleibt und drei Entscheidungen, die Käufer ständig treffen, unbemerkt verfälscht: welcher Anbieter als Fallback dient, wie viel Kapazität tatsächlich zur Verfügung steht und was ein fairer Preis ist.
Die gute Nachricht: Es lässt sich messen. Dieser Leitfaden erklärt, wie die Lieferkette funktioniert, was Überlappung mit diesen Entscheidungen macht und wie Sie sie messen, ohne die Stichprobenfehler zu begehen, die die meisten Überlappungswerte bedeutungslos machen.
How residential supply actually works
Ein Residential-Exit ist ein echter Haushaltsanschluss, der zugestimmt hat, in der Regel über eine App oder ein SDK, Datenverkehr für ein Netzwerk weiterzuleiten. Dieses Angebot aufzubauen ist langsam und teuer: Es braucht App-Partnerschaften, Einwilligungsabläufe, Auszahlungen, Betrugskontrolle und jahrelanges Fluktuationsmanagement. Nur eine Handvoll Betreiber schafft das in großem Maßstab.
Um sie herum liegt ein mehrschichtiger Markt:
- Betreiber beschaffen die Geräte und betreiben die Infrastruktur, die den Datenverkehr darüber leitet.
- Großhändler kaufen Kapazität bei einem oder mehreren Betreibern und verkaufen sie in großen Mengen weiter, teilweise mit mehreren Quellen hinter einem Gateway.
- Wiederverkäufer kaufen bei einem Betreiber oder einem Großhändler und verkaufen unter eigener Marke, oft mit eigenem Dashboard, eigenen Tarifen und eigenem Support, während der Datenverkehr über fremde Exits den Weg ins Netz nimmt.
Eine einzelne Marke kann in mehr als einer Schicht stehen: eigenes Angebot in manchen Ländern, zugekauftes in anderen und ein Großhandels-Feed, um bei Nachfragespitzen Lücken zu füllen. Auf einer Preisseite steht davon nichts.
The three decisions it breaks
Redundanz. Der übliche Rat, wenn ein Anbieter Sie im Stich lässt, lautet: einen zweiten bereithalten. Wenn beide aus demselben Pool schöpfen, haben Sie eine zweite Rechnung gekauft, keine zweite Quelle. Wenn ein Ziel beginnt, einen Adressblock abzulehnen, lehnt es ihn für beide Anbieter gleichzeitig ab, und genau in diesem Moment sollte der Fallback helfen. Wenn 70% der Exits Ihres Fallbacks mit Ihrem Primäranbieter geteilt werden, landen 70% Ihres Fallback-Datenverkehrs auf Adressen, denen das Ziel gerade misstrauen gelernt hat. Meist stellen Sie das erst bei einem Vorfall fest.
Kapazität. Anbieter werben mit Poolgrößen, und Käufer addieren sie. Angenommen, ein großes Netzwerk zeigt Ihnen 1.000.000 verschiedene Exits und ein kleineres 70.000, von denen 50.000 auch im großen vorkommen. Wenn Sie beide nutzen, erhalten Sie 1.020.000 verschiedene Exits, nicht 1.070.000. Der zweite Anbieter hat 2% mehr Adressen gebracht, nicht 7%, und Sie bezahlen seinen gesamten Tarif.
Preis. Die Kosten eines Wiederverkäufers sind der Preis seines Vorlieferanten plus die eigene Marge. Das kann in Ordnung sein, wenn der Wiederverkäufer etwas hinzufügt, das Sie schätzen. Es ist ein schlechtes Preis-Leistungs-Verhältnis, wenn Sie dieselben Exits beim Vorlieferanten günstiger bekommen könnten, und viele Käufer wissen nicht, dass es einen Vorlieferanten gibt.
Direction is the whole finding
Ein einzelner Überlappungsprozentsatz verbirgt den nützlichsten Teil der Messung. Gemeinsame Adressen müssen von beiden Seiten gelesen werden.
Nehmen Sie das obige Beispiel: 50.000 gemeinsame Adressen zwischen einem Netzwerk mit 70.000 beobachteten Exits und einem mit 1.000.000.
| Kleines Netzwerk | Großes Netzwerk | |
|---|---|---|
| Beobachtete verschiedene Exits | 70.000 | 1.000.000 |
| Mit dem anderen geteilt | 50.000 | 50.000 |
| Anteil des eigenen Pools, der geteilt wird | 71% | 5% |
| Exklusiver Anteil | 29% | 95% |
Diese Form, bei der der größte Teil des kleinen Pools im großen liegt und nur ein schmaler Streifen des großen im kleinen, ist die Signatur von Wiederverkauf. Die Beziehung verläuft in eine Richtung: Das kleine Netzwerk steht weiter unten in der Kette.
Vergleichen Sie damit zwei unabhängige Betreiber, die in denselben Ländern aus Consumer-ISPs schöpfen. Sagen wir, einer zeigt 400.000 Exits, der andere 300.000, und sie teilen 6.000. Das sind 1,5% des einen und 2% des anderen: eine kleine Überlappung in beide Richtungen, ungefähr das, was Sie bei zwei Netzwerken erwarten würden, die zufällig einige derselben Haushalte erreichen. Symmetrisch und klein heißt: zwei Netzwerke, die dasselbe getrennt voneinander tun. Asymmetrisch und groß heißt: Eines kauft beim anderen.
The sampling trap
Hier liegt der Fehler hinter den meisten Überlappungswerten, die Ihnen begegnen: Eine kleine Stichprobe lässt selbst identische Pools unverwandt aussehen.
Stellen Sie sich zwei Marken vor, die exakt denselben Pool von 2.000.000 Adressen verkaufen. Sie ziehen von jeder 20.000 Exits. Im Durchschnitt stimmen nur etwa 200 überein, also etwa 1% jeder Stichprobe. Naiv gelesen besagt das, dass sich die beiden Netzwerke kaum überlappen. Tatsächlich sind sie dasselbe Netzwerk.
Das passiert, weil ein rotierender Pool bei jedem Blick einen anderen Ausschnitt liefert. Die rohe Überlappung ist immer eine Untergrenze: Zwei Pools können weit mehr teilen, als Sie gesehen haben, nie weniger. Die Frage ist, wie man “verschiedene Pools” von “gleicher Pool, kleine Stichprobe” unterscheidet. Dafür gibt es zwei Wege.
Vergleichen Sie mit der Überlappung jedes Pools mit sich selbst. Ziehen Sie zwei Stichproben desselben Anbieters, im selben Zeitfenster und auf dieselbe Weise, und messen Sie, wie stark sie sich miteinander überlappen. Das ist die Basislinie: die größte Überlappung, die Sie zwischen zwei Stichproben eines Pools erwarten können. Vergleichen Sie dann die Überlappung zwischen den Anbietern damit.
relative overlap = overlap between A and B ÷ overlap of A with itself
Eine relative Überlappung nahe 1 bedeutet, dass die Exits von B, soweit Ihre Stichproben es erkennen lassen, aus dem Pool von A stammen. Nahe 0 bedeutet unabhängig. Dazwischen liegt teilweises Teilen, etwa bei einem Netzwerk, das einen Teil seines Angebots zukauft.
Schätzen Sie die tatsächliche Poolgröße aus wiederholten Sichtungen. Dieselbe Selbstüberlappung liefert Ihnen eine grobe Schätzung, wie viele Adressen ein Anbieter wirklich erreichen kann, und zwar mit der Fang-Wiederfang-Methode, mit der Ökologen Fische in einem See zählen:
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
Wenn zwei Stichproben von je 40.000 Exits eines Anbieters 8.000 gemeinsam haben, erreicht der Anbieter auf Ihren Zielen in diesem Zeitfenster etwa 200.000 verschiedene Adressen, was auch immer sein Marketing behauptet. Die Schätzung setzt voraus, dass jede Adresse mit gleicher Wahrscheinlichkeit vergeben wird, was nie ganz zutrifft. Verstehen Sie sie daher als Größenordnung und nicht als Volkszählung. Sie liegt dennoch weit näher an der Realität als eine beworbene Poolgröße.
Signals beyond shared addresses
Die Adressüberlappung ist der Beweis. Einige andere Signale deuten in dieselbe Richtung und fallen oft zuerst auf:
- Gemeinsame Vorfälle. Wenn zwei Netzwerke in derselben Stunde bei demselben Ziel ausfallen und sich gemeinsam erholen, leiten sie wahrscheinlich über dieselben Exits. Korrelierte Vorfälle über Wochen lassen sich kaum anders erklären.
- Dieselben Standortfehler. Jedes Netzwerk ordnet Adressen Ländern und Städten mit gewissen Fehlern zu. Wenn zwei Netzwerke dieselben Adressen auf dieselbe Weise falsch zuordnen, lesen sie wahrscheinlich dieselben Standortdaten eines Vorlieferanten oder leiten denselben Datenverkehr.
- Identisches Gateway-Verhalten. Dieselben Fehlerseiten, dieselbe Syntax für Sitzungsparameter, dieselben Eigenheiten bei Sticky Sessions oder dieselben Antwort-Header der Proxy-Schicht deuten auf dieselbe Infrastruktur darunter hin.
- Übereinstimmende ASN- und Länderverteilung. Zwei Pools mit nahezu identischen Anteilen nach ASN und Land sind verdächtig. Für sich genommen beweist das nichts (siehe unten), aber neben einer asymmetrischen Überlappung rundet es das Bild ab.
What overlap does not prove
Diese Messung lässt sich leicht überinterpretieren, deshalb lohnt es sich, ihre Grenzen klar zu benennen.
Wiederverkauf ist kein Betrug. Ein Wiederverkäufer, der Exits nach Geschwindigkeit auswählt, besseres Targeting oder Tooling bietet oder schneller auf Supportanfragen antwortet, verkauft etwas Reales. Ein Wiederverkäufer kann in einem Vergleich sogar das schnellste Produkt sein, weil die Auswahl Wirkung zeigt. Das Problem ist, einen Aufpreis für weiterverkauftes Inventar zu zahlen, ohne es zu wissen, oder sich auf eine Unabhängigkeit zu verlassen, die es nicht bieten kann.
Gemeinsame ASNs sind keine gemeinsamen Adressen. Zwei Netzwerke, die beide aus demselben großen ISP schöpfen, sehen in einer ASN-Aufschlüsselung ähnlich aus, ohne eine einzige Adresse zu teilen. Ähnlichkeit auf ASN-Ebene ist ein Hinweis; nur der Abgleich auf Adressebene ist ein Beleg.
Nachbarn sind keine Treffer. Bei IPv4 sind zwei Exits im selben /24 oft verschiedene Haushalte. Bei IPv6 hält ein Haushalt meist ein ganzes /64, weshalb exakter Adressabgleich geteilte Geräte übersieht: Vergleichen Sie IPv6-Exits stattdessen nach /64. Wer beide Regeln vermischt, verbirgt entweder echte Überlappung oder erfindet sie.
Die Richtung kann sich mit der Zeit ändern. Ein Netzwerk, das als Wiederverkäufer beginnt und ein eigenes Angebot aufbaut, zeigt von Monat zu Monat sinkende Überlappung. Ein Großhändler, der einen neuen Vorlieferanten hinzufügt, zeigt einen plötzlichen Sprung. Ein einzelnes Zeitfenster ist eine Momentaufnahme; der Verlauf sagt mehr.
What a second provider really buys you
Wenn Sie die Überlappungen kennen, können Sie ermitteln, was ein Setup mit mehreren Anbietern wert ist. Bei zwei Anbietern sind die Adressen, die Sie tatsächlich erreichen können:
reachable exits = A + B − shared
Bei dreien addieren Sie alle drei, ziehen jede paarweise Überlappung ab und addieren die Adressen wieder hinzu, die alle drei teilen. In der Praxis ist die nützliche Zahl einfacher: Wie viele Exits würde jeder Kandidat hinzufügen, die Sie noch nicht erreichen können? Das ist sein exklusiver Anteil an Ihrem Setup, nicht seine Poolgröße, und es ist die Zahl, die Sie gegen seinen Preis abwägen sollten.
Bei der Redundanz ist die Frage noch enger gefasst. Entscheidend ist nicht die Gesamtüberlappung, sondern die Überlappung bei den Zielen, für die Sie den Fallback brauchen. Zwei Netzwerke können bei einfachen Websites unabhängig sein und bei einer schwierigen die meisten ihrer funktionierenden Exits teilen, weil dort nur ein kleiner Teil jedes Pools durchkommt.
How to use it when buying
Prüfen Sie die Überlappung, bevor Sie einen Fallback wählen. Wenn Sie einen zweiten Anbieter zur Redundanz hinzufügen, ist seine Überlappung mit Ihrem Primäranbieter bei Ihren kritischen Zielen die wichtigste Zahl im Vergleich. Sie wiegt schwerer als die Erfolgsrate beider Netzwerke.
Kürzen Sie Poolangaben um die Exklusivität. Die nützliche Zahl ist weder der beworbene Pool noch der gemessene. Es ist der gemessene Pool multipliziert mit seinem exklusiven Anteil: die Adressen, die Sie auf keinem anderen Weg erreichen können.
Fragen Sie schriftlich nach dem Angebot. Ein Anbieter, der sein Angebot selbst besitzt, sagt das meist klar. Eine ausweichende Antwort auf die Frage “Betreiben Sie die Exits, die Sie verkaufen, und in welchen Ländern?” ist selbst ein Datenpunkt.
Behandeln Sie eine Wiederverkaufssignatur als Geschäftsrisiko, nicht nur als technisches. Das Produkt eines Wiederverkäufers ändert sich, wenn sich Bedingungen, Preise oder Qualität seines Vorlieferanten ändern, und zu diesem haben Sie keine Beziehung. Für einen Prototyp spielt das kaum eine Rolle. Bei allem, was an eine Frist gebunden ist, gehört es in Ihr Risikoregister.
Doing it yourself
Wenn Sie Konten bei zwei oder mehr Anbietern haben, ist das ein Tagewerk:
- Betreiben Sie beide gleichzeitig. Senden Sie dieselben Anfragen im selben Zeitfenster über jeden Anbieter. Pools rotieren ständig, sodass eine Stichprobe des einen am Montag und des anderen am Donnerstag nichts aussagt.
- Erfassen Sie, was das Ziel gesehen hat. Protokollieren Sie bei jeder Anfrage die Exit-Adresse aus einer zielseitigen Prüfung, etwa einem IP-Echo-Dienst, und nicht das, was das Dashboard des Anbieters meldet. Dashboards können zwischengespeichert oder falsch sein oder das Gateway beschreiben.
- Ziehen Sie zwei Stichproben pro Anbieter. Teilen Sie den Datenverkehr jedes Anbieters in zwei gleich große Hälften, damit Sie seine Überlappung mit sich selbst messen können.
- Ziehen Sie genug Stichproben. Streben Sie Zehntausende verschiedener Exits pro Anbieter an. Unterhalb einiger Tausend sieht jede Überlappung klein aus, und der Vergleich mit der Selbstüberlappung wird zu Rauschen.
- Normalisieren Sie Adressen. Vergleichen Sie IPv4 exakt und IPv6 nach /64.
- Berechnen Sie beide Richtungen. Die gemeinsame Anzahl als Anteil jedes Pools, dann die relative Überlappung im Verhältnis zur Selbstüberlappung jedes Pools.
- Wiederholen Sie die Messung im nächsten Monat. Die Veränderung zwischen den Zeitfenstern ist oft das aufschlussreichste Ergebnis.
How Atlas measures it
Atlas führt diese Messung für jedes Paar getesteter Netzwerke durch und veröffentlicht sie auf der Seite zur Überlappung von Proxy-Pools, einschließlich der Richtung jeder Überlappung und des exklusiven Anteils jedes Netzwerks. Jedes Netzwerk wird im selben Zeitfenster mit denselben Anfragen getestet, und die von jedem vergebenen Exit-Adressen werden paarweise geschnitten. Die Methodik beschreibt genau, wie das geschieht und wo ihre Grenzen liegen.
Nur wenige Vergleiche veröffentlichen etwas Vergleichbares. Das ist merkwürdig, denn es ist eines der wenigen Dinge in diesem Markt, die sich überprüfen statt nur behaupten lassen.