Wenn Sie hier gelandet sind, weil etwas, das Sie online tun wollten, blockiert wurde, oder weil ein Tutorial Ihnen gesagt hat, dass Sie Residential Proxies brauchen, ohne zu erklären warum, dann ist dies der richtige Ausgangspunkt. Es werden keine Vorkenntnisse vorausgesetzt, und kein Fachbegriff wird verwendet, ohne erklärt zu werden, sobald er auftaucht.
Was ein Proxy tatsächlich tut
Normalerweise verbindet sich Ihr Computer direkt mit einer Website, und die Website sieht Ihre IP-Adresse, die Nummer, die Ihr Internetanbieter Ihrer Verbindung zugewiesen hat. Ein Proxy sitzt dazwischen: Sie senden Ihre Anfrage an den Proxy, der Proxy leitet sie an die Website weiter, und die Website sieht die Adresse des Proxys statt Ihrer eigenen.
Das ist der gesamte Mechanismus. Alles andere dreht sich darum, wessen Adresse Sie sich ausleihen.
Warum die Art der Adresse wichtig ist
Websites behandeln Adressen unterschiedlich, je nachdem, woher sie stammen, und das ist der Teil, der Neulinge überrascht.
Eine Datacenter-Adresse gehört einem Hosting-Unternehmen, also der Art von Ort, an dem Server stehen. Diese sind billig und schnell, aber auch offensichtlich keine Menschen. Die Adressbereiche sind öffentlich registriert, sodass eine Website sofort erkennen kann, dass eine Anfrage von einem Server stammt, und viele Seiten nehmen das zum Anlass, zu blockieren, zusätzliche Prüfungen zu verlangen oder andere Inhalte auszuliefern.
Eine residential Adresse gehört an einen echten Heiminternetanschluss, zugewiesen von einem Verbraucher-Provider an einen Haushalt. Für eine Website sieht das wie eine gewöhnliche Person aus, die von zu Hause aus surft, weshalb es auf Seiten funktioniert, auf denen Datacenter-Adressen versagen. Diese stammen von Menschen, die sich bereit erklärt haben, ihre Verbindung zu teilen, weshalb sie mehr kosten: Das Angebot ist in einer Weise begrenzt, wie es bei Datacenter-Adressen nicht der Fall ist.
Es gibt weitere Typen, und das vollständige Vokabular findet sich im Glossar, aber diese Unterscheidung deckt das meiste ab, was ein Anfänger braucht.
Wann Sie tatsächlich einen brauchen
Residential Proxies sind ihre Kosten wert, wenn Ihre Arbeit von einer von zwei Sachen abhängt.
Sehen, was Menschen anderswo sehen. Preise, Suchergebnisse, Produktverfügbarkeit und Werbung variieren nach Land und oft nach Stadt. Wenn Sie wissen müssen, was ein Kunde in Deutschland sieht, müssen Sie aus Deutschland heraus fragen, und eine Residential-Adresse in Deutschland ist der Weg dazu. Das umfasst Preisüberwachung, die Prüfung, wie Ihre Website oder Anzeigen in anderen Märkten erscheinen, und das Sammeln von Recherchedaten, die je nach Region variieren.
Das Sammeln öffentlicher Daten in einem Umfang, den eine einzelne Verbindung nicht bewältigen kann. Jede Seite bemerkt Tausende von Anfragen von einer einzigen Adresse und beginnt, sie abzulehnen. Dieses Volumen auf viele Adressen zu verteilen ist der Weg, wie große Sammelaufgaben weiter funktionieren.
Wenn keines von beiden zutrifft, brauchen Sie möglicherweise überhaupt keine Residential Proxies. Unverteidigte Ziele und Ihre eigene Infrastruktur funktionieren gut über günstigere Datacenter-Adressen, und Residential dort einzusetzen, wo es nicht nötig ist, ist einfach teurer. Der ehrliche Vergleich steht in Residential versus Datacenter.
Die zwei Verhaltensweisen
Das ist das Konzept, das die meisten Leute verwirrt, und es ist einfach, sobald man es einmal ausgesprochen hat.
Rotating bedeutet, dass jede Anfrage über eine andere Adresse hinausgeht. Das ist die Standardeinstellung und die richtige Wahl für das Sammeln von Daten, weil das Verteilen von Anfragen auf viele Adressen genau das ist, was verhindert, dass eine einzelne davon Aufmerksamkeit erregt.
Sticky bedeutet, dass Sie die gleiche Adresse eine Weile behalten. Das brauchen Sie immer, wenn eine Seite sich zwischen Anfragen an Sie erinnert: beim Einloggen, beim Durchklicken einer mehrseitigen Suche, oder überall dort, wo ein Adresswechsel mittendrin so aussehen würde, als sei plötzlich eine andere Person aufgetaucht. Sie erhalten das, indem Sie eine Sitzungskennung zu Ihrem Benutzernamen hinzufügen, und sie hält für eine festgelegte Zeit, bevor sie rotiert.
Die meisten Projekte nutzen beides: Rotating für die Massensammlung, Sticky für die Teile, die eine Abfolge beinhalten. Mehr dazu in Sticky versus Rotating.
Wie Sie dafür bezahlen
Residential Proxies werden nach der bewegten Datenmenge abgerechnet, gemessen in Gigabyte, statt nach der Anzahl der genutzten Adressen. Das überrascht viele, denn es bedeutet, dass die Anzahl der IPs nicht das ist, was Sie kaufen, und das, was Sie schätzen müssen, ist die Bandbreite.
Die praktische Konsequenz ist, dass es mehr darauf ankommt, was Sie abrufen, als wie viele Anfragen Sie stellen. Die zugrunde liegenden Daten einer Seite abzurufen sind ein paar Kilobyte; diese Seite vollständig in einem Browser mit all ihren Bildern, Schriftarten und Skripten zu laden kann mehrere Megabyte sein. Dieselbe Aufgabe, auf die zweite Weise umgesetzt, kann hundertmal so viel kosten. Dieser Kompromiss wird behandelt in Bandbreite schätzen und Bandbreitenkosten senken.
Ihre erste Anfrage
Vier Dinge: ein Host, ein Port, ein Benutzername und ein Passwort. Host und Port ändern sich nie. Ihr Targeting kommt in den Benutzernamen.
# einfachste Möglichkeit: rotating, keine Standortpräferenz
curl -x customer-USERNAME:PASSWORD@p.shifter.io:443 https://ipinfo.io/json
# dieselbe Anfrage, aber mit Ausgang über Deutschland
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://ipinfo.io/jsonFühren Sie die erste zweimal aus, und Sie sollten zwei unterschiedliche Adressen sehen, was bestätigt, dass die Rotation funktioniert. Das vollständige Format, einschließlich Sticky-Sessions und Städte-Targeting, finden Sie in Wie man sich mit einem Residential Proxy verbindet.
Vier Fehler, die Anfänger machen
Erwarten, dass ein Proxy ein Blockierungsproblem von selbst löst. Die Adresse ist nur eines von mehreren Signalen. Wenn Ihre Anfragen sonst nicht wie ein Browser aussehen, können Sie trotzdem blockiert werden, und das Nächste, was zu beheben ist, sind meist die Header.
Zu schnell vorgehen. Neue Nutzer senden oft Anfragen so schnell, wie es ihr Code zulässt, was der schnellste Weg zur Blockierung ist. Verlangsamen Sie bewusst; ein maßvolles Tempo ist nicht nur höflich, sondern hält auch Ihre Erfolgsquote hoch, laut Rate Limiting und Throttling.
Einer 200-Antwort vertrauen. Eine Seite kann “Erfolg” zurückmelden, während sie eine Prüfaufgabe, ein leeres Ergebnis oder eine generische Version dessen enthält, was Sie wollten. Prüfen Sie, ob der Inhalt dem entspricht, was Sie erwartet haben, bevor Sie ihn als Daten behandeln, wie in Blockierte oder gefälschte Inhalte erkennen.
Vollständige Seiten laden, wenn die Daten direkt verfügbar sind. Viele Websites beziehen ihre Inhalte von einem zugrunde liegenden Endpunkt, den Ihr Browser in seinem Netzwerkbereich offenlegen kann. Diesen direkt aufzurufen ist schneller, einfacher zu parsen und deutlich günstiger, was die Entscheidung in Wann brauchen Sie einen Headless-Browser betrifft.
Auf der richtigen Seite bleiben
Proxys ändern, woher Ihre Anfrage scheinbar kommt. Sie ändern nicht, was Sie tun dürfen. Sammeln Sie öffentliche Daten, respektieren Sie die Nutzungsbedingungen und Robots-Anweisungen jeder Seite, halten Sie Ihre Anfragerate maßvoll, und seien Sie vorsichtig mit personenbezogenen Daten. Auf Inhalte zuzugreifen, die legitim je nach Region variieren, ist gewöhnliche Geschäftstätigkeit; einen Proxy zu benutzen, um eine Beschränkung zu umgehen, die eigentlich für Sie gelten soll, ist es nicht, und das Werkzeug ändert daran nichts. Die legitime Einordnung finden Sie in Geolokalisierungsbeschränkungen legal umgehen.
Wo es weitergeht
Sobald Ihre erste Anfrage funktioniert: Den richtigen Plan wählen für die Dimensionierung, Wie viele Proxy-IPs Sie tatsächlich brauchen, falls Sie diese Frage jemand stellt, und Was Sie vor dem Kauf testen sollten, falls Sie noch am Evaluieren sind. Wenn etwas nicht funktioniert, behandeln IP rotiert nicht und 407-Fehler beheben die zwei häufigsten ersten Probleme.
Fazit
Ein Proxy leitet Ihre Anfrage weiter, sodass die Website seine Adresse statt Ihrer sieht, und ein Residential Proxy leiht sich eine echte Heimverbindung aus, weshalb er als gewöhnlicher Besucher behandelt wird. Das brauchen Sie, wenn Ihre Arbeit davon abhängt, zu sehen, was Menschen an einem bestimmten Ort sehen, oder öffentliche Daten in einem Volumen zu sammeln, das eine einzelne Verbindung nicht durchhalten kann. Rotieren Sie standardmäßig, halten Sie eine Sticky-Session, wenn eine Seite eine Abfolge verfolgt, und denken Sie daran, dass Sie für übertragene Daten bezahlen, sodass weniger abzurufen der wichtigste Hebel für die Kosten ist. Beginnen Sie mit einer einzelnen einfachen Anfrage, bestätigen Sie, dass sie rotiert, und fügen Sie dann Targeting einen Schritt nach dem anderen hinzu.
Wenn Sie bereit sind, bieten Residential Proxies Ihnen das hier beschriebene Land- und Städte-Targeting, Rotation und Sticky-Sessions über eine einzige Verbindung, mit Preisen pro GB, sodass ein kleines erstes Projekt nur wenig kostet.