Die ehrliche Version der Frage “kostenlos versus kostenpflichtig” bei Proxys handelt nicht abstrakt von Qualität. Sie handelt davon, welche Ausfälle man bereit ist zu akzeptieren. Kostenlose Proxys sind tatsächlich kostenlos, und für eine Handvoll Anfragen an eine öffentliche Seite funktionieren sie manchmal. Kostenpflichtige Proxys kosten Geld und beseitigen eine Kategorie von Problemen, die teuer wird, sobald die Datensammlung für das Geschäft eine Rolle spielt.
Was eine kostenlose Proxy-Liste tatsächlich ist
Kostenlose Proxy-Listen sind, von wenigen Ausnahmen abgesehen, das Ergebnis internetweiten Scannens. Ein Scanner durchsucht den Adressraum nach Hosts, die auf gängigen Proxy-Ports antworten, prüft, ob sie eine Anfrage weiterleiten, und veröffentlicht diejenigen, die es tun. Diese Hosts fallen in drei Gruppen.
Manche sind Fehlkonfigurationen. Ein Server, Router oder Gerät wurde mit einem offenen Proxy-Port bereitgestellt, und der Besitzer weiß nichts davon. Er wird weiterlaufen, bis jemand es bemerkt und schließt, was schon morgen der Fall sein könnte.
Manche sind absichtliche offene Relays, betrieben von Leuten, denen die Idee eines öffentlichen Dienstes gefällt. Das ist der beste Fall und der seltenste.
Und manche werden gezielt betrieben, um sich in der Mitte des Datenverkehrs anderer Leute zu befinden. Das ist eine günstige Position zu erwerben und eine wertvolle zu halten, weil der Betreiber alles sieht, was darüber läuft.
Keiner der drei Fälle hat eine Verpflichtung Ihnen gegenüber, keine Kapazitätszusage und keinen Grund, morgen noch da zu sein, wenn Ihr Job läuft.
Die Sicherheitsfrage, präzise formuliert
Die übliche Warnung lautet, dass kostenlose Proxys Ihre Daten stehlen. Das ist ungenau genug, um leicht abgetan zu werden, daher hier die genaue Version.
Ein Proxy-Betreiber sieht das Ziel jeder Anfrage, die Sie senden. Bei einfachem HTTP sieht er den vollständigen Inhalt in beide Richtungen und kann ihn verändern. Bei HTTPS ist der Transport durchgehend verschlüsselt, und der Betreiber sieht den Hostnamen und das Verkehrsmuster, nicht den Inhalt. Das ist der Schutz, der Proxying überhaupt erst zumutbar macht.
Der Fehlerfall zeigt sich erst danach. Ein Betreiber, der an den Inhalten interessiert ist, kann sein eigenes Zertifikat präsentieren und hoffen, dass der Client es akzeptiert. Ein korrekt konfigurierter Client lehnt ab, und die Anfrage schlägt fehl. In der Praxis passiert dann, dass jemand, der einen Scraper debuggt, der sich nicht über einen kostenlosen Proxy verbinden lässt, die Zertifikatsprüfung deaktiviert, die Anfragen beginnen zu funktionieren, und der einzige Schutz, der zählte, ist verschwunden. Der Proxy liest nun alles mit, einschließlich aller Zugangsdaten, die das Skript sendet.
Die Regel ist also eng gefasst und lohnt es sich, sie klar zu benennen: Senden Sie niemals authentifizierten Datenverkehr, Zugangsdaten, persönliche Daten oder irgendetwas geschäftlich Sensibles über einen Proxy, dessen Betreiber Sie nicht benennen können. Das Lesen einer öffentlichen Seite ist eine andere Risikokategorie als das Einloggen in ein Konto.
Was bei größerem Volumen zuerst versagt
Sicherheit ist der dramatische Einwand. Zuverlässigkeit ist derjenige, der das Experiment beendet.
Kostenlose Listen verfallen innerhalb von Stunden. Ein großer Anteil der Einträge ist bereits tot, wenn sie veröffentlicht werden, und unter denen, die antworten, sind viele den Zielseiten, die Sie erreichen wollen, bereits bekannt, weil Tausende anderer Leute Datenverkehr über dieselbe Adresse leiten. Sie bekommen keine frische IP, sondern eine Adresse mit einem öffentlichen Ruf und einer Historie, die Sie nicht selbst geschaffen haben.
Der Durchsatz ist unverwaltet. Jeder Host auf der Liste wird von jedem genutzt, der die Liste gefunden hat, sodass die Latenz zwischen Anfragen um Größenordnungen schwankt und Verbindungen mitten in der Antwort abbrechen. Timeouts hören auf, ein Fehlerzustand zu sein, und werden zum Normalfall, was bedeutet, dass sowohl Ihre Retry-Logik als auch Ihr Parser um dieses Rauschen herum geschrieben werden müssen.
Geo-Targeting, das den Namen verdient, gibt es nicht. Einträge sind mit einem Land beschriftet, die Beschriftungen sind häufig falsch, und es gibt überhaupt keine Kontrolle auf Stadt-, ASN- oder Carrier-Ebene. Für jede Aufgabe, bei der es darum geht, eine Seite so zu sehen, wie ein lokaler Nutzer sie sieht, ist Raten keine Strategie.
Es gibt keine Sitzungskontrolle. Alles, was über mehrere Schritte hinweg dieselbe Adresse benötigt, Paginierung hinter einem Cursor, eine gespeicherte Standortwahl, ein mehrseitiger Ablauf, lässt sich nicht umsetzen, weil Sie keine Möglichkeit haben, zweimal dieselbe Adresse anzufordern.
Und es gibt keine Sichtbarkeit. Wenn ein Job nur die Hälfte der erwarteten Datensätze liefert, gibt es nichts zu untersuchen: keine Erfolgsquote, keine Fehleraufschlüsselung, kein Log pro Anfrage. Sie bleiben mit der Vermutung zurück, ob sich das Ziel geändert hat, der Parser kaputt ist, oder der Proxy schlicht versagt hat.
Was das Bezahlen tatsächlich ändert
Ein kostenpflichtiges Netzwerk verkauft das, was die Liste nicht bieten kann: Adressen mit bekannter Herkunft, einen Pool, der groß genug ist, dass keine einzelne Adresse Ihre gesamte Arbeitslast trägt, geografische Kontrolle, die genau statt nur angestrebt ist, Sitzungsverhalten, das Sie pro Anfrage wählen, und eine Erfolgsquote, für die jemand verantwortlich ist.
Residential proxies laufen über echte Verbraucheranschlüsse, was sie gegenüber verbraucherorientierten Websites mit ausgereiftem Bot-Management funktionsfähig macht. ISP proxies bieten dasselbe Vertrauensprofil mit einer statischen Adresse, was zustandsbehaftete Abläufe benötigen. Datacenter-Proxys bleiben pro Anfrage am günstigsten und sind die richtige Wahl bei Zielen, die sich nicht verteidigen. Die Wahl zwischen ihnen ist eine Routing-Entscheidung, und erst der kostenpflichtige Zugang macht sie zu einer Entscheidung statt zu einer Hoffnung.
Die Herkunft ist Teil dessen, was Sie kaufen, und es lohnt sich, danach zu fragen. Ein Residential-Netzwerk besteht aus Peers, deren Geräte den Datenverkehr tragen, und ob diese Peers dem wissentlich zugestimmt haben, ist ein echter Unterschied zwischen Anbietern, sowohl ethisch als auch hinsichtlich der Stabilität des Pools über die Zeit. Das ist eine faire Frage, die man jedem Anbieter vor dem Vertragsabschluss stellen sollte.
Wann kostenlos die richtige Antwort ist
Kostenlose Proxys sind kein Betrug, und es gibt Fälle, in denen Bezahlen sinnlos ist.
Einmalig prüfen, ob sich eine Seite in einem anderen Land anders darstellt. Lernen, wie Proxy-Konfiguration funktioniert, bevor man sich für einen Plan entscheidet. Eine öffentliche, nicht sensible Seite lesen, bei der ein Fehlschlag nichts kostet und ein erneuter Versuch kostenlos ist. Ein Wegwerfexperiment, das nie zweimal laufen wird.
Der gemeinsame Nenner ist, dass nichts vom Erfolg der Anfrage abhängt. In dem Moment, in dem etwas davon abhängt, ob es sich um einen Bericht, einen Preis-Feed, einen Überwachungsjob oder irgendetwas mit einer Frist handelt, kehrt sich die Rechnung um.
Die Rechnung
Das Argument fürs Bezahlen wird üblicherweise über Qualität geführt. Über Kosten ist es überzeugender.
Nehmen wir einen bescheidenen Job: einige tausend öffentliche Seiten pro Tag. Auf kostenloser Infrastruktur schlagen die meisten Anfragen fehl oder liefern Challenge-Seiten zurück, also wiederholt der Crawler sie, und die Wiederholungen scheitern ebenfalls. Ein Ingenieur verbringt eine Woche damit, Rotation, Health-Checking und Retry-Logik zu bauen, um mit einem Adresspool zurechtzukommen, der von Natur aus unzuverlässig ist, und verbringt dann jeden Monat Zeit damit, es am Laufen zu halten, während sich die Liste ständig ändert. Diese Woche ist mehr wert als mehrere Jahre eines kleinen Proxy-Plans.
Die kostenpflichtige Version desselben Jobs wird nach Bandbreite abgerechnet. Residential-Datenverkehr zu $1.00/GB für Textseiten, mit blockierten Bildern und Schriftarten, bringt einen solchen Job in den einstelligen Dollarbereich pro Monat. Die Entwicklungszeit fließt in den Parser und die Analyse statt in das Umgehen der Infrastruktur.
Das ist das ganze Argument. Kostenlose Proxys kosten nicht nichts, sie verschieben die Kosten von der Rechnung auf den Entwicklungskalender, und sie fügen eine Risikokategorie hinzu, die keinen Vorteil bietet.
Wie man einen kostenpflichtigen Anbieter auswählt
Ist die Entscheidung gefallen, sind die nützlichen Bewertungskriterien operativer und nicht kosmetischer Natur. Poolgröße und Länderzahl sind die Schlagzeilen und die am wenigsten aussagekräftigen Werte. Wichtig ist, ob die Erfolgsquoten während Ihres Erfassungsfensters halten, ob das Geo-Targeting bis auf die Stadt oder ASN aufgelöst wird, die Sie angefordert haben, ob rotierende und feste Sitzungen beide auf einem Konto verfügbar sind, ob die Nebenläufigkeit begrenzt ist, und ob die Nutzung in Echtzeit sichtbar ist statt erst am Monatsende.
Unabhängige Messungen schlagen hier Herstellerangaben, weshalb unsere eigenen Netzwerkzahlen auf der Benchmarks-Seite stehen, mitsamt der Methode, statt in einem Artikel bloß behauptet zu werden. Shifters Residential-Netzwerk umfasst über 205 Millionen IPs in über 195 Ländern mit Targeting auf Stadt- und ASN-Ebene, rotierenden und festen Sitzungen sowie unbegrenzten gleichzeitigen Verbindungen, und die Preisgestaltung erfolgt pro GB ohne Gebühr pro IP.
Die Kurzfassung
Kostenlose Proxys sind für Neugier geeignet und für alles andere ungeeignet. Sie sind von Natur aus unzuverlässig, undurchsichtig hinsichtlich der Betreiber und gefährlich, sobald Zugangsdaten im Spiel sind.
Kostenpflichtige Proxys sind nicht besser, weil sie Geld kosten. Sie sind besser, weil jemand für den Pool verantwortlich ist, die Geografie echt ist, die Sitzungen sich korrekt verhalten und die Fehlschläge sichtbar sind. Für jeden Erfassungsjob, von dem eine Person oder ein Bericht abhängt, ist das kein Luxus. Es ist die Mindestanforderung.
Weiterlesen: wie man Blockierungen beim Scraping vermeidet.