Für den größten Teil der Geschichte des Webs waren öffentliche Daten einfach da, um gesammelt zu werden, und die einzige Frage war, ob man es schaffte. Das ändert sich. Plattformen, Publisher und Dateninhaber stellen ihre Daten zunehmend hinter Lizenzen, kostenpflichtige APIs und formelle Datenzugangsvereinbarungen, und sie formulieren Bedingungen, die gezielt auf automatisiertes Sammeln und KI-Training abzielen.
Für Organisationen, die Webdaten sammeln, ist das nicht nur eine Einschränkung. Eine Datenzugangsvereinbarung kann sauberere Daten, klare Rechte und weniger rechtliches Risiko bieten, als sie selbst zu sammeln. Für Organisationen, die Daten veröffentlichen, ist es eine Möglichkeit, zu entscheiden, wer sie zu welchen Bedingungen nutzt. Dieser Leitfaden behandelt, was solche Vereinbarungen enthalten, wann welche Seite eine nutzen sollte, und wie sie sich zum gewöhnlichen Sammeln öffentlicher Seiten verhalten.
Dies sind allgemeine Informationen, keine Rechtsberatung. Vereinbarungen und das zugehörige Recht sind unterschiedlich, und ein Anwalt sollte jede Vereinbarung prüfen, bevor Sie sie unterzeichnen.
Warum sich Datenzugangsvereinbarungen ausbreiten
Drei Veränderungen haben Dateninhaber zu formellen Vereinbarungen bewegt:
- KI-Training hat den Wert von Daten erhöht. Text, Bilder und strukturierte Daten wurden zu Trainingsmaterial, und Inhaber begannen, dafür bezahlt zu werden oder die Nutzungsbedingungen festzulegen.
- Große Plattformen haben den Zugang hinter kostenpflichtige APIs verlegt. Im Jahr 2023 führten mehrere große Social-Media-Plattformen Gebühren für den API-Zugang ein oder erhöhten sie stark, der zuvor kostenlos oder günstig gewesen war, und machten den Zugang damit zu einer kommerziellen Beziehung.
- Opt-out-Signale haben an rechtlichem Gewicht gewonnen. In der EU können Rechteinhaber ihre Inhalte auf maschinenlesbare Weise von kommerziellem Text- und Data-Mining ausnehmen, und KI-Anbieter müssen diese Vorbehalte respektieren. Unser Leitfaden zu robots.txt, KI-Opt-outs und Reservierungssignalen erklärt, wie das funktioniert.
Das Ergebnis ist ein Web mit expliziteren Bedingungen: manche Daten bleiben frei sammelbar, manche sind nur unter Lizenz verfügbar, und die Grenze wird zunehmend schriftlich festgehalten.
Was eine Datenzugangsvereinbarung abdeckt
Vereinbarungen unterscheiden sich, aber die meisten behandeln dieselben Fragen:
| Klausel | Was sie regelt |
|---|---|
| Umfang | Welche Daten, welche Felder, welche Historie, wie aktuell |
| Lieferung | API, Massendateien oder ein Feed, und in welchem Format |
| Erlaubte Nutzung | Interne Analyse, Produkte, Weiterverkauf, KI-Training, jeweils erlaubt oder nicht |
| Volumen und Rate | Wie viel, wie oft, und was oberhalb des Limits passiert |
| Namensnennung und Anzeige | Ob und wie die Quelle genannt werden muss |
| Personenbezogene Daten | Wer ist der Verantwortliche, was darf aufbewahrt werden, wie Löschungen weitergegeben werden |
| Laufzeit und Beendigung | Wie lange sie gilt, und was am Ende gelöscht werden muss |
| Gebühren | Fest, pro Abruf, pro Datensatz oder Umsatzbeteiligung |
| Audit und Berichterstattung | Was der Lizenznehmer über seine Nutzung nachweisen muss |
Die wichtigste Klausel für die meisten Käufer ist die erlaubte Nutzung. Eine Vereinbarung, die interne Analysen erlaubt, kann Weiterverkauf oder Modelltraining verbieten, und die Nutzung der Daten außerhalb ihres Rahmens kann einen Vertragsbruch darstellen, selbst wenn die Daten selbst öffentlich sind.
Für Datensammler: wann eine Vereinbarung besser ist als Sammeln
Das Sammeln öffentlicher Seiten bleibt legitim und ist oft die richtige Wahl. Eine Vereinbarung lohnt sich jedoch zu erwägen, wenn:
- Sie Daten brauchen, die nicht öffentlich sind, etwa Historie, Identifikatoren oder Felder, die nie auf einer Seite erscheinen.
- Sie klare Rechte zum Weiterverkauf oder Training mit den Daten brauchen. Eine Vereinbarung kann Rechte gewähren, die Sammeln niemals könnte; unser Leitfaden dazu, wem gesammelte Daten gehören, erklärt, warum Sammeln allein Ihnen kein Eigentum verschafft.
- Die Quelle häufig blockiert oder sich ändert, und die Pflege eines Collectors mehr kostet als eine Lizenz.
- Ihre Kunden oder das Compliance-Team Herkunftsnachweise brauchen, die eine unterzeichnete Vereinbarung besser dokumentiert als ein Crawl-Log.
Und Sammeln bleibt die bessere Wahl, wenn Sie die öffentliche Ansicht brauchen, so wie Nutzer sie sehen, über viele Quellen hinweg, in vielen Märkten, wo keine Vereinbarung existiert oder die Quelle kein Interesse hat, eine anzubieten. Jeden Markt so zu sehen, wie es ein lokaler Besucher tut, dafür sind Residential Proxies da.
Best Practices, falls Sie eine unterzeichnen:
- Gleichen Sie die erlaubte Nutzung mit jeder geplanten Nutzung ab, einschließlich zukünftiger Produkte und KI-Arbeit, bevor Sie unterschreiben.
- Halten Sie lizenzierte und gesammelte Daten getrennt, mit Herkunftsnachweis bei jedem Datensatz, damit Sie immer wissen, welche Bedingungen gelten.
- Planen Sie für die Beendigung: wissen Sie, was Sie löschen müssen, und gestalten Sie die Speicherung so, dass Sie es können.
- Achten Sie auf Exklusivität und Meistbegünstigungsklauseln, die einschränken, was Sie sonst noch tun dürfen.
Für Dateninhaber: die Kontrolle über Ihre Daten zurückgewinnen
Wenn Sie Daten veröffentlichen, die andere sammeln, ist eine Vereinbarung eines von mehreren Werkzeugen, um zu entscheiden, wie sie genutzt werden:
- Entscheiden Sie, was wirklich öffentlich ist. Inhalte, die Sie indexiert und gesehen haben möchten, lassen sich auch nur schwer vor Sammlern schützen; Inhalte, die Sie lizenzieren möchten, gehören eher hinter eine API oder einen Login.
- Formulieren Sie Ihre Bedingungen klar und maschinenlesbar. Nutzungsbedingungen, robots.txt und, in der EU, maschinenlesbare Vorbehalte für Text- und Data-Mining signalisieren alle Ihre Position. Klare Signale machen Vereinbarungen leichter verhandelbar und Verstöße leichter nachweisbar.
- Bieten Sie einen legitimen Weg an. Eine dokumentierte API oder Lizenz gibt seriösen Nutzern eine Möglichkeit, zu zahlen und sich zu richten, statt um Sie herum zu sammeln, und gibt Ihnen einen Nachweis darüber, wer Ihre Daten nutzt.
- Bepreisen Sie die Nutzung, nicht nur das Volumen. Analysen, Weiterverkauf und KI-Training haben sehr unterschiedlichen Wert.
- Passen Sie die Durchsetzung an die Realität an. Technische Maßnahmen, Ratenbegrenzungen und Vertragsansprüche haben jeweils Grenzen; Gerichte haben Ansprüche darüber, wie auf Daten zugegriffen wurde, anders behandelt als Ansprüche darüber, wem öffentliche Daten gehören.
Der rechtliche Hintergrund, kurz
Vereinbarungen bauen auf einem rechtlichen Rahmen auf, der sich noch festigt. In den USA haben Gerichte entschieden, dass die Nutzungsbedingungen einer Plattform das Sammeln öffentlicher Daten ohne Anmeldung nicht verhindern, während Ansprüche, die darauf beruhen, wie auf Daten zugegriffen wurde, etwa durch gefälschte Konten oder Serverbelastung, Bestand hatten. In der EU können Vertragsbedingungen die Nutzung von Datenbanken einschränken, die sonst nicht geschützt sind, das sui-generis-Datenbankrecht schützt substanzielle Investitionen in Datenbanken, und das Datenschutzrecht gilt für personenbezogene Daten unabhängig davon, wie sie erlangt wurden.
Bevor sie sich entweder auf Sammeln oder auf eine Vereinbarung verlassen, stellen Rechtsteams dieselben Fragen zu Umfang, Zugang, Rechten und personenbezogenen Daten; unsere Checkliste dazu, was Ihr Rechtsteam fragen wird, bevor es ein Scraping-Projekt genehmigt, behandelt sie.
FAQ
Was ist eine Datenzugangsvereinbarung?
Ein Vertrag, unter dem ein Dateninhaber einer anderen Partei Zugang zu seinen Daten gewährt, üblicherweise über eine API, Dateien oder einen Feed, zu festgelegten Bedingungen: welche Daten, wie sie genutzt werden dürfen, wie viel, wie lange und zu welchem Preis.
Ist es besser, Daten zu lizenzieren oder zu scrapen?
Das hängt davon ab, was Sie brauchen. Lizenzierung eignet sich für nicht-öffentliche Daten, klare Weiterverkaufs- oder KI-Trainingsrechte und Quellen, die sich häufig ändern. Das Sammeln öffentlicher Seiten eignet sich für die Ansicht, wie sie tatsächlich erscheint, über viele Quellen und Märkte hinweg, wo keine Vereinbarung angeboten wird.
Kann eine Datenzugangsvereinbarung Daten einschränken, die öffentlich sind?
Sie kann einschränken, wie der Lizenznehmer die Daten nutzt, die er im Rahmen der Vereinbarung erhält, selbst wenn diese Daten auch öffentlich sind. Ob die allgemeinen Nutzungsbedingungen einer Website das Sammeln ihrer öffentlichen Seiten durch andere einschränken, hängt von der Rechtsordnung ab und davon, ob diese Bedingungen den Sammler binden.
Wie kann eine Website kontrollieren, wie ihre Daten genutzt werden?
Indem sie entscheidet, was veröffentlicht wird, Bedingungen und Opt-outs klar und maschinenlesbar formuliert, einen lizenzierten Weg für legitime Nutzer anbietet und gegen Sammeln vorgeht, das ihre Bedingungen verletzt oder ihrem Dienst schadet.
Fazit
Datenzugangsvereinbarungen werden zu einem normalen Teil davon, wie Webdaten den Besitzer wechseln. Für Sammler bieten sie Rechte und Daten, die Sammeln nicht bieten kann, zu einem Preis; für Inhaber bieten sie eine Möglichkeit, zu entscheiden, wer ihre Daten nutzt und wie. Nutzen Sie Vereinbarungen dort, wo sie Ihnen etwas bieten, das Sammeln nicht kann, halten Sie lizenzierte und gesammelte Daten getrennt, und lesen Sie die Klausel zur erlaubten Nutzung vor allem anderen.