Fragen Sie einen Proxy-Anbieter nach seiner Erfolgsquote, erhalten Sie meist eine sehr hohe Zahl. Fragen Sie, wie sie gezählt wurde, lautet die Antwort oft „Anfragen, die eine Antwort geliefert haben“ oder „Anfragen, die HTTP 200 geliefert haben“. Beides sagt nichts darüber aus, ob Sie die Daten erhalten haben.
Welche Residential Proxys Sie auch einsetzen: Die brauchbare Definition von Erfolg ist enger gefasst. Die Antwort enthielt das, was Sie angefordert haben. Dieser Leitfaden erklärt, warum Statuscodes den Erfolg überzeichnen, wie Sie sie durch eine Pass-Regel ersetzen und wie Sie das Ergebnis ehrlich zählen. Er konzentriert sich auf die Messung. Wie Sie vergiftete oder gefälschte Inhalte in einem Scraper erkennen, lesen Sie in unserem Beitrag über das Erkennen blockierter oder gefälschter Inhalte.
Warum der Statuscode lügt
HTTP-Statuscodes beschreiben die Kommunikation zwischen Ihrem Client und einem Server. Sie sagen nichts darüber aus, ob der Server Ihnen die Seite geliefert hat. Gut geschützte Websites haben allen Grund, eine verdächtige Anfrage höflich zu beantworten:
- Challenge-Seiten. Ein CAPTCHA oder ein JavaScript-Zwischenschritt wird mit 200 ausgeliefert, weil die Website möchte, dass ein Browser ihn darstellt.
- Soft Blocks. Eine Suchseite ohne Treffer, eine Produktseite ohne Preis oder eine Vorlage mit „Etwas ist schiefgelaufen“, jeweils mit 200.
- Einwilligungs- und Weiterleitungsseiten. Eine Cookie-Wall oder eine regionale Startseite, die den angeforderten Inhalt ersetzt.
- Falsche Inhalte. Eine Seite für ein anderes Land als das anvisierte, die sich problemlos parsen lässt und trotzdem falsch ist.
Jede dieser Antworten wird als Traffic abgerechnet, und jede zählt in einem Dashboard auf Basis von Statuscodes als Erfolg. So kommt es, dass Erfolgsquoten nach Statuscode nahe bei 100 % liegen, während der Anteil der brauchbaren Seiten deutlich niedriger ist.
Vier Ergebnisse, ein Erfolg
Ein ehrlicheres Schema, das auch die Atlas-Methodik verwendet, ordnet jede Anfrage einem von vier Ergebnissen zu:
- Pass. Die Antwort erfüllte die schriftlich festgelegte Bedingung für dieses Ziel: Das Element ließ sich parsen, das JSON hatte die erwartete Struktur oder das Token wurde ausgestellt. Das ist der einzige Erfolg.
- Challenge. Statt der Seite kam ein CAPTCHA oder ein Zwischenschritt zurück, meist mit 200.
- Block. Das Ziel hat die Anfrage unmittelbar abgelehnt: mit 403, mit 429, mit einer Block-Seite oder mit einem Verbindungsabbruch vor jeglichem Inhalt.
- Timeout. Innerhalb des Zeitbudgets für dieses Ziel kam keine brauchbare Antwort, einschließlich der Fehler, die das Proxy-Gateway selbst auslöst.
Die Aufteilung der Fehler ist wichtig, weil jeder auf eine andere Ursache hindeutet. Blocks und Challenges beschreiben meist, wie das Ziel die Exit-Adresse wahrnimmt. Timeouts beschreiben meist das Netzwerk. Eine einzige Fehlerzahl verbirgt, welches Problem Sie haben.
Eine Pass-Regel formulieren
Eine Pass-Regel ist eine Prüfung, die Code auf eine Antwort anwenden kann, ohne dass ein Mensch hinsieht. Sie benennt den Beleg dafür, dass es sich um die echte Seite handelt. Gute Regeln sind auf das jeweilige Ziel zugeschnitten:
- Produktseite: Das Markup für Preis und Lagerbestand ist vorhanden und lässt sich parsen.
- Suchergebnisseite: Mindestens eine festgelegte Anzahl organischer Ergebnisblöcke lässt sich parsen.
- JSON-Endpunkt: Die Antwort ist gültiges JSON mit dem erwarteten Array und kein Fehlerobjekt.
- Warteschlange oder Sitzung: Ein Token wurde ausgestellt.
- Statische Seite: Der Body kam unverändert an, zum Beispiel erkennbar an einem bekannten Hash oder einer bekannten Länge.
Halten Sie jede Regel eng genug, dass eine Challenge-Seite sie nicht zufällig bestehen kann, und locker genug, dass eine legitime Änderung des Layouts nicht jede Anfrage durchfallen lässt. Prüfen Sie auf die Daten, die Sie brauchen, nicht auf das Fehlen des Wortes „captcha“, das ein neuer Challenge-Anbieter gar nicht enthalten wird.
Schreiben Sie die Regel auf, bevor Sie testen. Eine Regel, die nach Sicht der Ergebnisse gewählt wird, wird tendenziell so abgestimmt, dass ein Anbieter gut aussieht.
Challenge-Rate: die Zahl, die Statuscodes verbergen
Von den drei Fehlerarten verdient die Challenge-Rate in jedem Bericht eine eigene Zeile. Sie ist der Anteil der Anfragen, die mit einem CAPTCHA oder einem Zwischenschritt beantwortet wurden, und verhält sich anders als Blocks.
Websites eskalieren in der Regel: Zuerst stellen sie eine Adresse vor eine Challenge, dann sperren sie sie. Eine steigende Challenge-Rate ist oft das erste Anzeichen dafür, dass ein Pool zu stark beansprucht wird oder dass ein Ziel seine Abwehr verschärft hat, und zwar Tage bevor die harten Blocks zunehmen. Weil Challenges als 200 eintreffen, zeigt ein Dashboard auf Basis von Statuscodes währenddessen gar nichts an.
Challenges kosten außerdem Geld. Eine Challenge-Seite ist eine vollständige Antwort mit Headern, Markup und Skripten, sodass Sie sie bei einem Tarif pro Gigabyte wie eine echte Seite bezahlen. Die Seite zu den tatsächlichen Kosten von Atlas zeigt, wie viel das ausmacht, sobald fehlgeschlagene Anfragen eingepreist sind.
Fair zählen
Eine Pass-Regel legt den Zähler fest. Der Nenner braucht dieselbe Sorgfalt:
- Zählen Sie jeden Versuch. Wenn Ihr Client Anfragen wiederholt, ist jede Wiederholung eine Anfrage. Eine Erfolgsquote, die nach Wiederholungen gemessen wird, beschreibt Ihre Retry-Logik und nicht das Netzwerk.
- Behalten Sie Timeouts und Gateway-Fehler drin. Wer Anfragen weglässt, die „die Website nie erreicht haben“, entfernt genau die Fehler, für die das Netzwerk verantwortlich ist.
- Gewichten Sie die Zeit gleichmäßig. Eine stark ausgelastete Stunde sollte eine ruhige nicht übertönen, und ein guter Nachmittag sollte eine schlechte Nacht nicht verdecken.
- Berichten Sie pro Ziel. Ein Durchschnitt über eine ungeschützte und eine geschützte Seite beschreibt keine von beiden.
- Veröffentlichen Sie den Nenner. Eine Quote ohne Anzahl der Anfragen lässt sich nicht beurteilen.
Selbst messen
Ein minimaler Aufbau, um die Proxy-Erfolgsquote für Ihre eigene Arbeit zu messen:
- Listen Sie die Ziele auf, für die Sie tatsächlich Proxys bezahlen.
- Schreiben Sie pro Ziel eine Pass-Regel, bevor Sie die erste Anfrage senden.
- Protokollieren Sie jede Anfrage mit ihrem Status, dem Ergebnis der Pass-Regel, der Zeitmessung und der Exit-Adresse, die das Ziel gesehen hat.
- Ordnen Sie jeden Fehler als Challenge, Block oder Timeout ein.
- Berichten Sie Erfolg, Challenge-Rate, Block-Rate und Timeouts getrennt, pro Ziel und mit Anzahlen.
- Beobachten Sie die Challenge-Rate im Zeitverlauf und richten Sie Alarme auf sie aus statt auf Statuscodes.
Unser Beitrag über das Überwachen einer Scraping-Pipeline behandelt die Alarmierung, sobald diese Zahlen vorliegen.
Atlas bewertet jede gesendete Anfrage auf dieselbe Weise, mit einer schriftlichen Pass-Regel pro Ziel, und veröffentlicht das Ergebnis für jedes Ziel auf der Targets-Seite. Die Erfolgsquote eines Netzwerks bedeutet damit stets den Anteil der Anfragen, die die echte Seite geliefert haben.