Ein rotierender Proxy gibt Ihnen während der Arbeit eine andere IP-Adresse, entweder bei jeder Anfrage oder nach einem festgelegten Intervall. Anstatt dass eine Adresse Ihren gesamten Traffic trägt, verteilt sich die Last über einen Pool, sodass keine einzelne Adresse das Anfragevolumen ansammelt, das eine Website aufmerksam werden lässt.
Dieser Artikel behandelt, wie Rotation tatsächlich funktioniert, was Backconnect bedeutet, und wie man beides konfiguriert.
Wie Rotation funktioniert
Sie verwalten keine Liste von Adressen. Sie verbinden sich mit einem einzigen Gateway-Endpunkt, und der Anbieter weist für jede Anfrage eine Adresse aus dem Pool zu. Aus Sicht Ihres Scrapers ändert sich zwischen den Anfragen nichts. Aus Sicht des Ziels kommt jede Anfrage von einem anderen Besucher.
Es gibt zwei Rotationsmodi, und die Wahl zwischen ihnen ist die zentrale Konfigurationsentscheidung.
Rotation pro Anfrage vergibt jedes Mal eine neue Adresse. Maximale Streuung, keine Kontinuität. Verwenden Sie dies für unabhängige Abrufe: Produktseiten, Suchergebnisse, Verzeichnislisten, Verfügbarkeitsprüfungen. Zwischen den Anfragen überträgt sich nichts, sodass nichts zerbricht, wenn sich die Adresse ändert.
Sticky Sessions halten eine Adresse für ein festes Zeitfenster, üblicherweise 1 bis 30 Minuten. Verwenden Sie diese, wann immer Anfragen voneinander abhängen: Paginierung über einen Cursor, alles nach einem Login, mehrstufige Formulare und Checkouts.
Sie wählen zwischen ihnen in den Zugangsdaten, nicht in Ihrem Code. Anbieter kodieren die Session im Benutzernamen, sodass eine typische Konfiguration so aussieht:
# per-request rotation: a new IP for every request
curl -x gate.shifter.io:8080 -U "customer-USER:PASS" https://example.com
# sticky session: same IP for the life of session id abc123
curl -x gate.shifter.io:8080 -U "customer-USER-session-abc123:PASS" https://example.com
# sticky, geo-targeted to Germany
curl -x gate.shifter.io:8080 -U "customer-USER-country-de-session-abc123:PASS" https://example.comÄndern Sie die Session-ID, und Sie erhalten eine neue Adresse. Behalten Sie sie bei, und Sie behalten die Adresse, bis das Zeitfenster abläuft. Die genauen Parameternamen variieren zwischen Anbietern, prüfen Sie daher die Dokumentation des von Ihnen verwendeten Dienstes, aber der Mechanismus ist konsistent.
Was mit einer Session während der Rotation passiert
Dies ist der Teil, den die meisten Erklärungen auslassen, und er ist die Ursache der meisten rotationsbezogenen Fehler.
Eine angemeldete Session ist ein Cookie, das die Website einem Browser an einer bestimmten Adresse ausgestellt hat. Wenn die nächste Anfrage mit demselben Cookie aus einem anderen Land eintrifft, sieht die Website eine Session, die teleportiert ist. Je nachdem, wie sorgfältig die Website ist, erhalten Sie eine erneute Authentifizierung, eine Sicherheitsabfrage oder die Session wird vollständig ungültig.
Rotation weiß nicht und kümmert sich nicht darum, dass Sie angemeldet sind. Es liegt in Ihrer Verantwortung, eine Adresse so lange zu halten, wie die Session sie braucht. Wenn ein Ablauf vier Minuten dauert, deckt ein fünfminütiges Sticky-Fenster dies ab. Wenn ein Vorgang stundenlang läuft, ist Rotation das falsche Werkzeug und ein ISP-Proxy mit einer dauerhaften Adresse das richtige.
Backconnect-Proxys
Backconnect ist die Gateway-Architektur, die Rotation überhaupt möglich macht. Anstatt Ihnen eine Liste von zu verwaltenden Adressen zu geben, stellt Ihnen der Anbieter einen einzigen Endpunkt zur Verfügung, der sich rückwärts in den Pool verbindet, in Ihrem Namen.
Es lohnt sich, hier präzise zu sein, denn dies wird häufig falsch dargestellt, auch in einer früheren Version dieses Artikels: Backconnect ist kein Synonym für residential. Backconnect beschreibt, wie Adressen an Sie geliefert werden. Residential beschreibt, woher die Adressen stammen. Sie sind unabhängig voneinander, und Backconnect-Gateways existieren ebenso selbstverständlich für Datacenter- und Mobile-Pools wie für residential Pools.
Was Backconnect Ihnen in der Praxis bietet:
- Ein zu konfigurierender Endpunkt. Ihr Scraper zeigt für die gesamte Projektdauer auf einen einzigen Host und Port, unabhängig davon, wie sich der Pool dahinter verändert.
- Automatischer Ersatz. Eine tote oder blockierte Adresse wird aus der Rotation entfernt, ohne dass Ihr Code es bemerkt.
- Targeting über Parameter. Land-, Stadt- und ASN-Auswahl erfolgt in den Zugangsdaten, anstatt separate Adresslisten zu pflegen.
- Keine Pool-Verwaltung. Sie erstellen, testen oder aktualisieren nie eine Proxy-Liste.
Die Alternative, eine statische Liste einzelner Adressen, bedeutet, dass Sie all das selbst erledigen müssen, weshalb Backconnect zum Standard-Bereitstellungsmodell für Pools jeder Größe wurde.
Wofür Rotation gut ist
Dies sind die Vorteile von Rotation speziell, im Unterschied zu den Vorteilen residentieller IPs im Allgemeinen.
- Umgehen von Rate-Limits pro IP. Ein Limit von 60 Anfragen pro Stunde und Adresse wird über einen großen Pool praktisch unbegrenzt. Dies ist der klarste Gewinn der Rotation.
- Aufrechterhalten großer Sammelaufträge. Ein Volumen, das eine Adresse verbrennen würde, ist unsichtbar, wenn es auf Tausende aufgeteilt wird.
- Überstehen einzelner Sperren. Wenn eine Adresse gesperrt wird, verwendet die nächste Anfrage einfach eine andere. Nichts zu erkennen, nichts zu beheben.
- Kostengünstiges Abtasten vieler Standorte. Die Überprüfung von Preisen oder Anzeigen in 20 Ländern erfordert keinen Kauf pro Land, sondern nur eine Parameteränderung pro Anfrage.
- Reduzieren von Mustersignalen. Eine einzelne Adresse, die rund um die Uhr alle 10 Sekunden eine Anfrage stellt, ist eine Maschine. Derselbe Traffic, verteilt über einen Pool, ist es nicht.
Was Rotation nicht tut, ist nicht vertrauenswürdige Adressen vertrauenswürdig zu machen. Rotierende Datacenter-IPs scheitern gegen eine Website, die die Eigentümerschaft von Adressen klassifiziert, an jeder Adresse im Pool. Bei Rotation geht es um die Verteilung von Volumen, nicht um den Erwerb von Vertrauen.
Wann Rotation verwenden, und wann nicht
Verwenden Sie rotierende Proxys für: Web Scraping und Preisüberwachung, SERP- und Ranking-Tracking, Anzeigenüberprüfung über Regionen hinweg, Verfügbarkeits- und Bestandsprüfungen sowie groß angelegte Datensammlung für KI-Training oder Grounding.
Verwenden Sie statische oder ISP-Proxys für: Kontoverwaltung, alles, was über längere Zeiträume angemeldet bleibt, Zugang zu Werbeplattformen und jeden Vorgang, bei dem es darauf ankommt, als derselbe Besucher erkannt zu werden.
Die beiden Artikel, die sich als Nächstes zu lesen lohnen, hängen davon ab, auf welcher Seite Sie landen. Für den vollständigen Vergleich behandelt static vs rotating proxies den Kompromiss im Detail. Zur Auswahl eines Proxy-Typs nach Ziel siehe web scraping proxies.
Fazit
Rotation ist eine Einstellung für die Sitzungsdauer, keine Produktkategorie. Rotation pro Anfrage verteilt unabhängigen Traffic über einen Pool und ist der richtige Standard für die Sammlung. Sticky Sessions halten eine Adresse so lange, wie Ihr Ablauf sie benötigt. Backconnect ist das Gateway, das beides über einen einzigen Endpunkt liefert.
Stellen Sie das Rotationsintervall passend zur Arbeit ein, und die meisten Sperrprobleme verschwinden. Stellen Sie es in eine der beiden Richtungen falsch ein, und Sie brechen entweder Sessions ab oder konzentrieren Traffic dort, wo er auffällt.
Shifters residential proxies unterstützen beide Modi mit Land-, Stadt- und ASN-Targeting, und die aktuellen Preise finden Sie auf der pricing page.