Die meisten Latenzangaben für Proxys bestehen aus einer einzigen Zahl, und eine einzelne Zahl ist die am wenigsten brauchbare Art, die Dauer von Anfragen zu beschreiben. Latenz ist eine Verteilung. Die meisten Anfragen liegen in einem schmalen Bereich, einige wenige dauern deutlich länger, und genau diese wenigen entscheiden darüber, ob Ihr Job rechtzeitig fertig wird.
Residential-Exits machen die Streuung größer, als die meisten erwarten. Eine Anfrage über Residential-Proxys läuft von Ihrem Client zum Gateway des Anbieters, weiter zu einem Endgerät in einem Privatanschluss, von dort zum Ziel und den ganzen Weg zurück. Jeder dieser Abschnitte kann eine schlechte Sekunde haben. Dieser Leitfaden erklärt, wie Sie ein Diagramm lesen, das die gesamte Streuung zeigt, und was Sie fragen sollten, bevor Sie einem Diagramm vertrauen.
Was ein Latenzdiagramm tatsächlich zeigt
Ein Latenzdiagramm ist in der Regel ein Histogramm: unten die Antwortzeiten, an der Seite die Anzahl der Anfragen in jedem Zeitintervall. Bei einem Residential-Netzwerk hat es eine typische Form. Links liegt ein hoher Gipfel, an dem die meisten Anfragen abgeschlossen werden, und rechts zieht sich ein langer, dünner Ausläufer entlang, in dem die langsamen Anfragen liegen.
Perzentile sind Markierungen auf dieser Form:
- p50, der Median. Die Hälfte der Anfragen war schneller als dieser Wert, die Hälfte langsamer.
- p90. Neun von zehn Anfragen waren schneller. Eine von zehn dauerte mindestens so lange.
- p99. Neunundneunzig von hundert Anfragen waren schneller. Hier beginnt das langsamste Prozent.
Der Abstand zwischen p50 und p99 ist der aufschlussreichste Teil des Diagramms. Ein schmaler Abstand bedeutet, dass sich ein Netzwerk in guten und in schlechten Minuten gleich verhält. Ein großer Abstand bedeutet, dass der Median ein Netzwerk beschreibt, auf das Sie nur zeitweise treffen.
Warum der Median den Ausläufer verbirgt
Der Median beschreibt eine einzelne Anfrage gut. Einen Job beschreibt er schlecht, denn Jobs bestehen aus vielen Anfragen, und die langsamen summieren sich.
Nehmen Sie ein erfundenes Beispiel. Angenommen, der Median eines Netzwerks liegt bei 600 ms und sein p99 bei 6 Sekunden. Eine von hundert Anfragen landet in diesem Ausläufer. Wenn Ihr Scraper pro Datensatz 20 Seiten nacheinander abruft, liegt die Wahrscheinlichkeit, dass ein bestimmter Datensatz mindestens eine Anfrage aus dem Ausläufer trifft, bei etwa 1 zu 5 (eins minus 0,99 hoch 20). Ein Fünftel Ihrer Datensätze braucht nun Sekunden länger, als der Median vermuten lässt, und der Median hat sich dabei nicht bewegt.
Das Volumen verschärft das Problem. Bei 500.000 Anfragen pro Tag sind ein Prozent 5.000 langsame Anfragen. Wenn jede davon einen Worker oder einen Browser-Tab blockiert, bestimmt der Ausläufer Ihren Durchsatz, nicht der Gipfel. Deshalb können zwei Netzwerke mit demselben Median sehr unterschiedliche Jobzeiten erzeugen.
Perzentile lassen sich nicht mitteln
Ein häufiger Fehler in Vergleichstabellen ist das Mitteln von Perzentilen: Man nimmt den p99 je Land oder je Stunde und bildet daraus den Durchschnitt als einen einzigen p99. Das Ergebnis ist kein p99 von irgendetwas.
Perzentile ergeben sich aus der Form der gesamten Verteilung. Um zwei Messreihen korrekt zu kombinieren, führen Sie zuerst die zugrunde liegenden Histogramme zusammen und lesen dann das Perzentil an der zusammengeführten Form ab. Atlas geht so vor: Das Histogramm jedes Zeitfensters wird mit gleichem Gewicht in das Gesamtfenster übernommen, sodass eine ruhige Nachtstunde so viel zählt wie ein belebter Nachmittag und keine Zahl ein Durchschnitt von Durchschnitten ist. Die Latenzdefinitionen auf der Methodikseite nennen die genauen Regeln.
Wenn ein veröffentlichtes Diagramm nicht angibt, wie seine Perzentile kombiniert wurden, gehen Sie davon aus, dass sie gemittelt wurden, und betrachten Sie den Wert für den Ausläufer mit Skepsis.
Welche Latenz sehen Sie sich an?
„Latenz“ umfasst mindestens drei verschiedene Messgrößen, und Anbieter nennen tendenziell die kleinste.
Verbindungszeit. Die Dauer, die das Öffnen einer Verbindung zum Gateway braucht. Bei einer ruhenden Verbindung zu einem nahen Gateway ist sie kurz, und sie sagt nichts über den Residential-Exit oder das Ziel aus.
Zeit bis zum ersten Byte. Vom Senden der Anfrage bis zum ersten Byte der Antwort. Sie schließt den Weg durch den Exit und die eigene Verarbeitungszeit des Ziels ein.
Gesamtzeit. Vom Beginn der Anfrage bis zum letzten Byte. Darauf wartet Ihr Code, und bei einer umfangreichen Seite kann sie deutlich länger sein als die Zeit bis zum ersten Byte.
Atlas misst die Gesamtzeit unter Last, über den Proxy, an einem Ziel mit reinem HTTP. Reines HTTP ist eine bewusste Entscheidung. HTTPS fügt ein CONNECT und einen TLS-Handshake hinzu und verdoppelt damit ungefähr die Zahl der Round Trips; würden HTTP- und HTTPS-Ziele gemischt, spiegelte ein Diagramm eher wider, welche Ziele getestet wurden, als wie das Netzwerk arbeitet. Andere Ziele melden weiterhin Erfolge und Blockierungen; sie fließen nur nicht in den Latenzwert ein.
Auch die Last spielt eine Rolle. Ein Netzwerk, das eine Handvoll Anfragen beantwortet, kann ganz anders aussehen als dasselbe Netzwerk bei realer Parallelität. Atlas erfasst die Latenz bei geringer Last und misst, wie stark sich jede Region bei der Parallelität der Census-Läufe verlangsamt, und zeigt dann beides an. Wenn ein Diagramm nicht angibt, wie viel Verkehr beim Erstellen lief, zeigt es wahrscheinlich das Bild bei geringer Last.
Die Form lesen
Sobald Sie wissen, was gemessen wurde, sagt Ihnen die Form des Diagramms mehr als jedes einzelne Perzentil.
Ein schmaler Gipfel mit kurzem Ausläufer. Gleichmäßige Exits und ein Gateway, das nicht unter Druck steht. Der beste Fall.
Ein normaler Gipfel mit langem, flachem Ausläufer. Die meisten Exits sind in Ordnung, aber ein Teil der Anfragen trifft auf langsame Endgeräte, weit entfernte Exits oder Wiederholungsversuche im Gateway. Beobachten Sie den p99 im Zeitverlauf; wenn er sich bewegt, während der Median ruhig bleibt, hängt der Ausläufer von Last oder Tageszeit ab.
Zwei Gipfel. Zwei Gruppen von Anfragen. Häufig ist es eine Mischung aus nahen und weit entfernten Exits oder aus zwei Arten von Endgeräten mit unterschiedlichen Anschlüssen. Teilen Sie die Daten nach Land oder nach Exit-Netzwerk auf, bevor Sie Schlüsse ziehen.
Eine Spitze am Timeout. Eine Häufung von Anfragen genau am Zeitlimit des Clients. Das sind keine langsamen Antworten, sondern Fehlschläge, und sie sollten als Fehlschläge gezählt werden, nicht als Latenz.
Was die Latenz nicht verrät
Ein Latenzdiagramm beschreibt nur Anfragen, die zurückgekommen sind. Es sagt nichts darüber aus, ob das Zurückgekommene nützlich war.
Eine Blockseite oder ein CAPTCHA kann schneller zurückkommen als die echte Seite, weil das Ziel weniger Arbeit hatte. Ein Netzwerk, das schnell ist, weil es abgewiesen wird, sieht in einem Latenzdiagramm hervorragend aus. Lesen Sie die Latenz deshalb immer zusammen mit den Erfolgs- und Challenge-Raten für dasselbe Zeitfenster und dieselben Ziele.
Wenn Sie die Latenz senken möchten, die Sie selbst beeinflussen, helfen Verbindungswiederverwendung, sinnvolle Geo-Filter und Timeouts, die schnell abbrechen, mehr als ein Anbieterwechsel; Latenz bei Residential-Proxys senken geht jeden dieser Punkte durch. Wie die Latenz in ein Ranking einfließt, lesen Sie im Begleitleitfaden zur Bewertung der schnellsten Residential-Proxys.
Eine Checkliste für jede Latenzangabe
Prüfen Sie, bevor Sie einer Latenzzahl vertrauen, ob sie von einem Anbieter, einer Bewertungsseite oder aus Ihrem eigenen Test stammt:
- Welche Perzentile? Ein Median allein verbirgt den Ausläufer. Fragen Sie auch nach p90 und p99.
- Welche Zeit? Verbindung, erstes Byte oder letztes Byte. Nur das letzte ist das, worauf Sie warten.
- Unter welcher Last? Ruhender Verkehr schmeichelt jedem Netzwerk.
- Über welchen Zeitraum? Eine ruhige Stunde ist keine Woche Verkehr.
- Wie kombiniert? Zusammengeführte Histogramme oder gemittelte Perzentile.
- Welches Ziel? HTTP und HTTPS, leichte und schwere Seiten sind nicht vergleichbar.
- Mit welcher Erfolgsrate? Latenz ohne den Anteil der Fehlschläge daneben kann irreführen.
Wenn Sie Ihre eigene Messung als Verteilung statt als einzelne Zahl durchführen möchten, finden Sie in der Anleitung zum Testen von Geschwindigkeit und Erfolgsrate bei Residential-Proxys Skripte, die Sie anpassen können. Legen Sie anschließend Ihren p99 neben die Latenzzeilen im direkten Vergleich in Atlas und prüfen Sie, ob der von Ihnen gemessene Ausläufer mit dem veröffentlichten übereinstimmt.