Die meisten Scraping-Projekte erreichen das Rechtsteam spät, als Anfrage zur Absegnung von etwas bereits Fertiggestelltem. Das ist der langsamste Weg, eine Genehmigung zu bekommen. Die Fragen, die Juristen stellen, sind vorhersehbar, und ein Team, das sie im Voraus beantwortet, erhält in der Regel innerhalb von Tagen statt Wochen eine Entscheidung.
Diese Checkliste stellt die Fragen so zusammen, wie eine rechtliche Prüfung üblicherweise abläuft, mit Erklärung, warum jede Frage wichtig ist, und wie eine gute Antwort aussieht. Sie ist für die Ingenieure und Data Leads geschrieben, die das Projekt vorbringen, damit sie wissen, was sie vorbereiten müssen.
Dies sind allgemeine Informationen, keine Rechtsberatung. Die Regeln unterscheiden sich von Land zu Land und ändern sich schnell, und Ihr eigener Rechtsbeistand entscheidet, was auf Ihr Projekt zutrifft.
1. Welche Daten genau?
Die ersten Fragen betreffen den Umfang, und vage Antworten verlangsamen hier alles Weitere.
- Welche Felder werden Sie erfassen? Listen Sie sie auf. “Produktdaten” ist keine Antwort; “Produktname, Preis, Währung, Lagerstatus und URL” ist eine.
- Von welchen Websites, und wie viele Seiten? Nennen Sie die Quellen, das Volumen und die Häufigkeit.
- Wofür ist es gedacht? Der Zweck entscheidet über vieles, was folgt: interne Preisüberwachung, eine Produktfunktion, Weiterverkauf oder das Training eines KI-Modells werfen jeweils unterschiedliche Fragen auf.
- Brauchen Sie alles davon? Rechnen Sie damit, gebeten zu werden, Felder zu streichen, die dem Zweck nicht dienen.
Eine gute Antwort ist ein einseitiger Umfang mit einem Beispieldatensatz und einer Feldliste, wobei jedes Feld dem Zweck zugeordnet ist.
2. Handelt es sich um personenbezogene Daten?
Dies ist oft die wichtigste Frage, und diejenige, bei der Teams am häufigsten falsch liegen, weil sie annehmen, dass öffentlich gleich uneingeschränkt bedeutet.
- Könnte irgendein Feld eine Person identifizieren, allein oder in Kombination mit anderen? Namen, Benutzernamen, Fotos, Profil-URLs und Kontaktdaten zählen alle dazu. Ebenso Rezensionen und Beiträge mit zugeordnetem Autor.
- Wessen Daten sind es, und wo leben diese Personen? Das europäische und britische Datenschutzrecht gilt für personenbezogene Daten von Personen in diesen Regionen, unabhängig davon, wo der Erheber ansässig ist, und macht keine Ausnahme für öffentlich verfügbare Daten.
- Was ist die Rechtsgrundlage, und hat jemand das Interesse des Projekts gegen die Rechte der betroffenen Personen abgewogen?
- Wie werden die Personen informiert? Wenn Daten über Personen erhoben werden statt von ihnen, erwartet das Gesetz trotzdem, dass sie informiert werden, und Aufsichtsbehörden haben Unternehmen mit Bußgeldern belegt, die Datenbanken aus öffentlich geposteten Inhalten aufgebaut haben.
- Können Sie es vermeiden? Die beste Antwort ist oft, personenbezogene Felder bereits bei der Erhebung auszuschließen.
Eine gute Antwort zeigt, welche Felder personenbezogen sind, warum jedes benötigt wird, und wie der Rest vor der Speicherung herausgefiltert wird. Wenn personenbezogene Daten zentral für das Projekt sind, rechnen Sie mit einer formellen Folgenabschätzung. Unser Überblick zur DSGVO-Konformität behandelt die Grundlagen.
3. Woher stammen die Daten?
Das Rechtsteam möchte genau wissen, auf welche Art von Zugang sich das Projekt stützt.
- Ist alles ohne Anmeldung öffentlich sichtbar? Daten hinter einem Login sind eine andere Sache: Ihre Erhebung bedeutet in der Regel, die Nutzungsbedingungen der Website zu akzeptieren, und US-Fälle haben sich genau daran entschieden. Im Streit zwischen hiQ und LinkedIn gewann hiQ frühe Urteile zum Anti-Hacking-Gesetz, wurde aber später für schuldig befunden, die Nutzervereinbarung verletzt zu haben, teilweise durch gefälschte Konten, und der Fall endete mit einer einstweiligen Verfügung und der Anordnung, die Daten zu vernichten.
- Haben Sie die Nutzungsbedingungen der Website akzeptiert? Wenn ein Konto oder eine angeklickte Vereinbarung im Spiel ist, wird das Rechtsteam diese Bedingungen lesen. Ein US-Gericht entschied 2024, dass Metas Nutzungsbedingungen die Erhebung öffentlicher Daten im abgemeldeten Zustand nicht verbieten, was zeigt, warum angemeldete und abgemeldete Fälle so unterschiedlich behandelt werden.
- Was sagen robots.txt und andere Opt-out-Signale? Selbst wenn robots.txt rechtlich nicht bindend ist, wird das Rechtsteam fragen, ob Sie es respektieren. Für KI-Training in der EU haben maschinenlesbare Vorbehalte rechtliches Gewicht. Unser Leitfaden zu robots.txt und KI-Opt-outs behandelt die Signale.
- Gibt es eine offizielle API oder eine Lizenz? Wenn eine Website ihre Daten über eine API oder gegen Gebühr anbietet, wird das Rechtsteam fragen, warum Sie diesen Weg nicht nutzen.
Eine gute Antwort listet jede Quelle mit ihrer Zugangsart (öffentlich, angemeldet, API), ihren Nutzungsbedingungen und ihrer robots.txt-Position auf, geprüft zu einem angegebenen Datum.
4. Wie werden Sie die Daten erheben?
Die Methode spielt eine Rolle, unabhängig von den Daten. Ansprüche, die auf der Art des Zugriffs auf eine Website beruhen, haben vor Gericht Bestand gehabt, selbst wenn Ansprüche zu den Daten selbst scheiterten: Im Fall von X Corp gegen ein Datenunternehmen 2024 wies das Gericht die Ansprüche zum Scraping und Weiterverkauf öffentlicher Beiträge ab, ließ aber später Ansprüche zur Serverbelastung zu.
- Wie schnell, und wie viel Last? Geben Sie die Anfragerate pro Website an und wie sie sich an Fehler und langsame Antworten anpasst.
- Wird irgendetwas umgangen, um eine Zugangskontrolle zu überwinden? Logins, Paywalls und technische Maßnahmen, die den Zugang beschränken, sind der Punkt, an dem das rechtliche Risiko stark ansteigt. Rechnen Sie hier mit einer deutlichen Nachfrage.
- Wie identifizieren Sie sich? Das Rechtsteam kann fragen, ob sich der Erheber zu erkennen gibt oder eine Kontaktmöglichkeit bereitstellt.
- Wer stellt die Infrastruktur bereit? Wenn Sie ein Proxy-Netzwerk oder einen Scraping-Dienst nutzen, wird das Rechtsteam fragen, wie der Anbieter seine IP-Adressen bezieht und was er protokolliert. Unsere Erklärung zu wie Anbieter residentielle IPs ethisch beschaffen behandelt, was man einen Anbieter fragen sollte.
Eine gute Antwort beschreibt den Erhebungsaufbau in einfachen Worten: Raten, Retry- und Backoff-Verhalten, wie Blockierungen behandelt werden, und eine Erklärung, dass das Projekt keine Logins oder Paywalls umgeht.
5. Wem gehören die Daten, und was dürfen Sie damit tun?
Das Erheben von Daten macht Sie nicht zu deren Eigentümer. Das Rechtsteam wird trennen, was Sie frei nutzen können, von dem, was Eigentum einer anderen Partei bleibt.
- Handelt es sich um Fakten oder Inhalte? Preise, Daten und Zahlen sind im Allgemeinen nicht urheberrechtlich geschützt. Artikeltext, Fotos und der Wortlaut von Rezensionen sind es.
- Stammt es aus einer europäischen Datenbank? In der EU und im Vereinigten Königreich kann der Hersteller einer Datenbank, der erheblich in sie investiert hat, andere daran hindern, einen wesentlichen Teil daraus zu entnehmen, selbst wenn jeder einzelne Eintrag eine bloße Tatsache ist.
- Werden Sie die Daten teilen, verkaufen oder veröffentlichen? Interne Analyse, eine kundenseitige Funktion und Weiterverkauf tragen jeweils mehr Risiko als die vorherige Stufe.
- Werden die Daten ein KI-Modell trainieren? Rechnen Sie mit Fragen zu Opt-outs, der Herkunft jedes Teils des Datensatzes und wie die Beschaffung dokumentiert wurde. Jüngere US-Urteile haben die Frage, wie Trainingsmaterial beschafft wurde, als separate Frage von der Nutzung behandelt.
Eine gute Antwort trennt den Datensatz in Fakten, abgeleitete Daten und kopierte Inhalte und erklärt, was das Unternehmen verlässt. Unser Leitfaden zu wem gehören gescrapte Daten behandelt diese Schichten ausführlich.
6. Wo werden die Daten gespeichert, und für wie lange?
- Wo werden sie gespeichert und verarbeitet? Die Rechtsordnung beeinflusst, welche Gesetze gelten, und der Standort Ihrer Proxy-Exits ist nicht dasselbe wie der Standort Ihrer Daten. Siehe Datenresidenz ist nicht Proxy-Standort.
- Wer kann darauf zugreifen? Rechnen Sie mit Fragen zu Zugangskontrolle und Sicherheit, besonders bei allem Personenbezogenen.
- Wie lange werden Sie die Daten aufbewahren? Haben Sie eine Aufbewahrungsfrist und einen Weg, Daten zu löschen, wenn diese endet.
- Können Sie einen bestimmten Datensatz oder eine Quelle auf Anfrage entfernen? Wenn eine Person oder ein Website-Betreiber fragt, müssen Sie finden und löschen können, was von ihr stammt.
Eine gute Antwort nennt den Speicherort, die Zugangsgruppe, die Aufbewahrungsfrist und den Löschprozess.
7. Wer ist verantwortlich, und was passiert bei Einwänden?
- Wem gehört das Projekt? Eine namentlich benannte Person, die Fragen beantworten und die Erhebung stoppen kann.
- Was wird dokumentiert? Quellen, Daten, Einstellungen und Änderungen, aufbewahrt, damit Sie später zeigen können, was wie erhoben wurde. Monitoring hilft hier ebenfalls; siehe wie man eine Web-Scraping-Pipeline überwacht.
- Was passiert, wenn eine Website eine Beschwerde oder ein Unterlassungsschreiben schickt? Das Rechtsteam möchte einen Plan: wer es erhält, wie schnell die Erhebung von dieser Quelle pausiert werden kann, und wer entscheidet, was als Nächstes geschieht.
- Wann wird das Projekt erneut überprüft? Websites ändern ihre Nutzungsbedingungen und Signale; eine jährliche Überprüfung, oder eine bei jeder Zweckänderung, ist üblich.
Eine gute Antwort nennt den Verantwortlichen, verweist auf die Dokumentation und beschreibt ein Stoppverfahren, das noch am selben Tag ausgeführt werden kann.
Eine einseitige Aufnahme-Zusammenfassung
Bringen Sie dies ausgefüllt zum ersten Treffen mit. Es beantwortet die meisten der obigen Fragen, bevor sie gestellt werden.
| Thema | Was mitzubringen ist |
|---|---|
| Umfang | Feldliste, Beispieldatensatz, Quellen, Volumen, Häufigkeit |
| Zweck | Wofür die Daten sind, und wer sie nutzen wird |
| Personenbezogene Daten | Welche Felder personenbezogen sind, warum sie benötigt werden, wie andere ausgeschlossen werden |
| Zugang | Für jede Quelle: öffentlich oder angemeldet, Nutzungsbedingungen, robots.txt, API verfügbar oder nicht |
| Methode | Anfrageraten, Backoff, Umgang mit Blockierungen, keine Umgehung von Logins oder Paywalls |
| Infrastruktur | Proxy- oder Scraping-Anbieter, und wie er IPs bezieht |
| Nutzung | Intern, kundenseitig, Weiterverkauf oder KI-Training |
| Speicherung | Standort, Zugangsgruppe, Aufbewahrungsfrist, Löschprozess |
| Verantwortlichkeit | Projektverantwortlicher, Dokumentation, Beschwerde- und Stoppverfahren, Überprüfungsdatum |
Eine ständige Richtlinie macht dies für jedes folgende Projekt schneller. Unsere Vorlage für eine Datenerhebungsrichtlinie des Unternehmens verwandelt diese Antworten in unternehmensweite Regeln, sodass jedes neue Projekt nur dokumentieren muss, was anders ist. Für das größere rechtliche Gesamtbild siehe ist Web Scraping legal.
FAQ
Braucht Scraping eine rechtliche Genehmigung?
Viele Unternehmen verlangen sie, besonders für Projekte mit personenbezogenen Daten, angemeldetem Zugang, Weiterverkauf oder KI-Training. Selbst wenn sie nicht erforderlich ist, verhindert eine kurze Prüfung, etwas zu bauen, das später zurückgenommen werden muss.
Was ist der häufigste Grund, warum das Rechtsteam ein Scraping-Projekt blockiert?
Personenbezogene Daten ohne klaren Zweck und Rechtsgrundlage sind ein häufiger Grund. Erhebung hinter Logins und Pläne, urheberrechtlich geschützte Inhalte erneut zu veröffentlichen, sind weitere. Eine Einengung des Umfangs löst oft alle drei.
Sind öffentliche Daten frei zum Scrapen?
Nicht ohne Bedingungen. Öffentliche personenbezogene Daten sind in Europa und im Vereinigten Königreich weiterhin durch Datenschutzrecht geschützt, kreative Inhalte sind weiterhin urheberrechtlich geschützt, und in der EU sind manche Datenbanken geschützt, selbst wenn sie nur Fakten enthalten. Wie Sie die Daten erheben, spielt ebenfalls eine Rolle.
Wie lange dauert eine rechtliche Prüfung eines Scraping-Projekts?
Das hängt vom Unternehmen und vom Projekt ab, aber der größte Teil der Verzögerung entsteht durch Hin und Her bezüglich Umfang und Daten. Eine ausgefüllte Aufnahme-Zusammenfassung zum ersten Treffen mitzubringen, beseitigt das meiste davon.
Fazit
Rechtsteams stellen bei jedem Scraping-Projekt dieselben Fragen: welche Daten, wessen Daten, woher, wie, wofür, wo gespeichert, und wer verantwortlich ist. Bereiten Sie die Antworten vor, bevor die Prüfung beginnt, halten Sie personenbezogene Daten und angemeldeten Zugang außerhalb des Umfangs, sofern sie nicht unbedingt nötig sind, und dokumentieren Sie Quellen und Methoden laufend. Projekte, die mit einer klaren Aufnahme-Zusammenfassung ankommen, werden schneller genehmigt, und sie lassen sich leichter verteidigen, falls später jemand Fragen stellt.