Proxies sind in den USA, im Vereinigten Königreich und in der EU legal einzusetzen. An der Weiterleitung des eigenen Traffics über einen zwischengeschalteten Server ist nichts Unrechtmäßiges, und Unternehmen jeder Größe tun dies routinemäßig zu Testzwecken, für Monitoring, Sicherheitsforschung und Datensammlung.
Die schwierigere Frage ist nicht, ob Proxies legal sind, sondern wofür man sie einsetzt, und dort wird die Antwort konkret: abhängig von den Daten, von der Rechtsordnung und davon, ob ein Login im Spiel ist.
Dieser Artikel ist eine allgemeine Information, keine Rechtsberatung. Holen Sie sich vor Beginn eines Projekts jeder Größenordnung Rat zu Ihrer eigenen Situation ein.
Was legal gesammelt werden darf und was nicht
Die wichtigste Unterscheidung ist keine technische. Es geht darum, ob die Daten hinter einer Zugangsschranke liegen.
Grundsätzlich vertretbar:
- Öffentlich zugängliche Daten, die jeder ohne Konto einsehen kann: Produktlisten, Preise, öffentliche Profile, veröffentlichte Artikel, Suchergebnisse.
- Daten, die Sie in einer Geschwindigkeit sammeln, die den Dienst für niemand anderen beeinträchtigt.
- Fakten, Preise und andere Informationen, die selbst nicht urheberrechtlich geschützt sind.
Deutlich riskanter:
- Alles, was hinter einem Login liegt, insbesondere wenn Sie zum Erhalt des Kontos Nutzungsbedingungen akzeptiert haben.
- Das Umgehen einer technischen Zugangskontrolle, statt lediglich eine öffentliche Seite abzurufen.
- Personenbezogene Daten identifizierbarer Personen, wodurch Datenschutzrecht ins Spiel kommt, unabhängig davon, ob die Seite öffentlich war.
- Die massenhafte Reproduktion urheberrechtlich geschützter Inhalte oder die Extraktion eines wesentlichen Teils einer geschützten Datenbank.
Nutzungsbedingungen sind Vertrag, kein Straftatbestand
Die Nutzungsbedingungen einer Website können automatisierten Zugriff verbieten. Deren Verletzung ist im Allgemeinen eine vertragliche Angelegenheit: Sie kann eine Klage wegen Vertragsverletzung begründen und ist ein reales rechtliches Risiko, gehört aber zu einer anderen Kategorie als Gesetze zum Computermissbrauch.
Die Unterscheidung verengt sich dort, wo Sie den Bedingungen ausdrücklich zugestimmt haben, typischerweise durch die Erstellung eines Kontos. Das Scrapen öffentlicher Seiten, für die Sie nie Nutzungsbedingungen akzeptiert haben, steht auf deutlich sichererem Boden als das Scrapen innerhalb eines Kontos, dessen Bedingungen Sie durchgeklickt haben.
Urheberrecht und Datenbankrechte
Fakten sind nicht urheberrechtlich schützbar. Ein Preis ist eine Tatsache. Eine Produktliste ist größtenteils faktisch. Die wortgetreue Reproduktion von Artikeltexten, Fotografien oder Beschreibungen ist eine andere Sache, und deren Sammlung im großen Stil zur Weiterveröffentlichung ist der sicherste Weg, eine Klage auf sich zu ziehen.
Die EU fügt ein spezifisches Datenbankrecht hinzu, getrennt vom Urheberrecht, das erhebliche Investitionen in die Zusammenstellung einer Datenbank schützt, selbst wenn die einzelnen Fakten ungeschützt sind. Die Extraktion eines wesentlichen Teils einer solchen Datenbank kann dieses Recht verletzen, auch wenn kein einzelnes Element geschützt ist.
Personenbezogene Daten ändern alles
Wenn das, was Sie sammeln, eine lebende Person identifiziert, gilt Datenschutzrecht unabhängig davon, ob die Seite öffentlich war. Nach der DSGVO benötigen Sie eine Rechtsgrundlage für die Verarbeitung, und berechtigte Interessen erfordern eine Abwägung, die Sie belegen können sollten. Betroffenenrechte, Aufbewahrungsfristen und Transparenzpflichten folgen daraus. Ein öffentliches LinkedIn-Profil ist gleichzeitig öffentliche Information und personenbezogene Daten.
Wie sich die Regeln nach Region unterscheiden
| Region | Wesentlicher Rechtsrahmen | Position zum öffentlichen Scraping | Die Hauptfalle |
|---|---|---|---|
| USA | Computer Fraud and Abuse Act, einzelstaatliches Recht | Gerichte waren zurückhaltend, das Scrapen öffentlicher Seiten als unbefugten Zugriff zu behandeln | Vertragsklagen und einzelstaatliches Datenschutzrecht wie der CCPA |
| UK | Computer Misuse Act, UK GDPR, Datenbankrecht | Die Sammlung öffentlicher Daten ist nicht von vornherein unrechtmäßig | UK GDPR gilt für personenbezogene Daten; das Datenbankrecht schützt zusammengestellte Datensätze |
| EU | DSGVO, Datenbankrichtlinie, DSM-Richtlinie | Ähnlich wie im UK, mit einer ausdrücklichen Ausnahme für Text- und Data-Mining zu Forschungszwecken | Die DSGVO ist streng, und das Datenbankrecht ist umfassender, als die meisten erwarten |
Die Rechtsordnung ist selten eine einzige Antwort. Drei Standorte spielen gleichzeitig eine Rolle: wo Sie sich befinden, wo Ihre Server stehen, und wo sich die Zielwebsite und ihre Nutzer befinden. Ein US-Unternehmen, das eine deutsche Website über EU-Bürger scrapt, hat es unabhängig davon, wo sein Scraper läuft, mit EU-Recht zu tun.
Ethische IP-Beschaffung
Residential-Proxy-Netzwerke werden aus den Heimverbindungen realer Menschen aufgebaut. Wie diese Menschen dazu kamen, teilzunehmen, ist die wichtigste offene Frage der Branche, und es lohnt sich, sie direkt zu stellen, bevor Sie kaufen.
Ein gut geführtes Netzwerk rekrutiert Teilnehmer, die wissen, worauf sie sich einlassen: in der Regel Nutzer einer Anwendung, denen im Austausch für einen Teil ihrer ungenutzten Bandbreite etwas Wertvolles angeboten wird, eine werbefreie Stufe oder eine bezahlte Belohnung. Ihnen wird es klar mitgeteilt, sie können jederzeit aussteigen, und der Anbieter prüft, welche Anwendungen seinen Code enthalten.
Ein schlecht geführtes Netzwerk bündelt diese Funktion in kostenloser Software als Kleingedrucktes, das niemand liest, oder schlimmer noch, liefert sie in Anwendungen aus, die der Nutzer nie wissentlich installiert hat. Netzwerke, die so aufgebaut wurden, waren bereits Gegenstand behördlicher Maßnahmen und von Forschung, die sie mit kompromittierten Geräten in Verbindung brachte.
Das spielt nicht nur ethisch, sondern auch kommerziell eine Rolle. Ein ohne Zustimmung zusammengestellter Pool ist instabil, enthält mit höherer Wahrscheinlichkeit kompromittierte Geräte und setzt Sie einem Reputationsrisiko aus, falls der Anbieter zur Schlagzeile wird.
Was Sie vor dem Kauf fragen sollten
- Wie treten Teilnehmer dem Netzwerk bei, und was wird ihnen mitgeteilt?
- Was erhalten sie im Gegenzug, und können sie jederzeit aussteigen?
- Prüfen Sie die Anwendungen, die Ihr SDK enthalten?
- Welche Compliance-Zertifizierungen halten Sie, und können Sie die entsprechenden Berichte vorlegen?
- Wie gehen Sie vor, wenn Missbrauch für eine Adresse gemeldet wird?
Shifter erhält die Compliance-Standards SOC 2 Type II, GDPR und HIPAA aufrecht, und das sind genau die Arten von Nachweisen, die es wert sind, von jedem Anbieter belegt zu bekommen, statt sie einfach zu glauben.
Sind Proxies sicher?
Sicherheit lässt sich in zwei Fragen unterteilen.
Ist der Traffic sicher? Bei einem seriösen bezahlten Anbieter ja. Ihre Verbindung zum Proxy ist verschlüsselt, und der Anbieter hat einen kommerziellen Grund, sie zu schützen. Bei einem kostenlosen öffentlichen Proxy nein. Der Betreiber trägt reale Bandbreitenkosten und holt sie sich auf irgendeine Weise zurück: durch Protokollieren dessen, was durchläuft, durch das Einfügen oder Ersetzen von Inhalten, oder durch den Weiterverkauf Ihrer Verbindung. Kostenlose Listen werden zudem mit Tausenden Fremden geteilt und sind auf den meisten kommerziellen Websites bereits gesperrt.
Sind Sie anonym? Nein, und das sollte man klar sagen. Ein Proxy ändert die IP-Adresse, die eine Website sieht. Er berührt weder Cookies, Browser-Fingerabdrücke, Login-Status noch Kontoverlauf, und Ihr Anbieter kann Ihren Traffic sehen. Behandeln Sie einen Proxy als Werkzeug zur Steuerung von Standort und Anfragerate, nicht als Garantie für Privatsphäre.
Praktische Hinweise
- Bevorzugen Sie öffentliche Daten. Die Rechtslage ist außerhalb eines Logins deutlich klarer.
- Respektieren Sie robots.txt und Ratenbegrenzungen. Beides ist in den meisten Rechtsordnungen rechtlich nicht bindend, aber deren Missachtung erschwert die Verteidigung in jedem Streitfall und beeinträchtigt den Dienst anderer.
- Sammeln Sie das Minimum. Eine engere Datensammlung bedeutet weniger Risiko sowohl nach Datenschutz- als auch nach Datenbankrecht.
- Vermeiden Sie personenbezogene Daten, außer Sie haben es sich gut überlegt. Wenn Sie sie sammeln müssen, dokumentieren Sie Ihre Rechtsgrundlage, bevor Sie beginnen.
- Führen Sie Aufzeichnungen. Was Sie gesammelt haben, wann, warum und auf welcher Grundlage. Falls jemals eine Frage aufkommt, zählen zeitnahe Aufzeichnungen.
- Holen Sie sich Rechtsberatung bei allem, was in großem Maßstab erfolgt, in einem regulierten Sektor liegt oder personenbezogene Daten betrifft.
Fazit
Proxies sind legal. Web Scraping ist in der großen Mehrheit der Fälle mit öffentlichen Daten legal. Das Risiko liegt im Detail: Logins, personenbezogene Daten, urheberrechtlich geschützte Inhalte und umfangreiche Datenbankextraktion, und es variiert je nach Rechtsordnung.
Wählen Sie einen Anbieter, der erklären kann, woher seine IP-Adressen stammen, beschränken Sie die Sammlung wo immer möglich auf öffentliche Daten, und holen Sie sich Rat, bevor Sie sich auf etwas Größeres festlegen.
Für die technische Seite der Datensammlung siehe Proxies für Web Scraping, und für die umfassendere Taxonomie Arten von Proxies.