Jedes KI-Team steht früh vor derselben Weggabelung: einen Datensatz lizenzieren, den jemand anderes aufgebaut hat, oder die Daten selbst sammeln. Marktplätze lassen den Kauf wie eine Entscheidung mit einem Klick aussehen, und für manche Projekte ist er das auch. Bei anderen erweisen sich lizenzierte Daten als veraltet, dünn genau dort, wo es darauf ankommt, oder an Bedingungen geknüpft, die das geplante Produkt blockieren. Dieser Leitfaden richtet sich an Teams, die Modelle aus Webdaten entwickeln und diese Entscheidung bewusst treffen möchten, statt sie dem Zufall zu überlassen.
Wir zeigen, wie der Markt für Trainingsdaten aussieht, was eine Lizenz Ihnen wirklich gibt, welche Kosten nicht auf dem Preisschild stehen, und stellen ein Entscheidungsraster vor, samt dem hybriden Aufbau, bei dem die meisten erfahrenen Teams landen.
Wie der Markt für Trainingsdaten aussieht
„Marktplatz“ umfasst mehrere recht unterschiedliche Wege, an Daten zu kommen:
- Allgemeine Datenbörsen. Cloud-Anbieter und Datenplattformen betreiben Kataloge, in denen Anbieter Datensätze listen und Käufer sie abonnieren, mit Lieferung direkt in den Speicher oder das Data Warehouse des Käufers. Die meisten Angebote wurden für Analysezwecke erstellt; die Nutzung für Training muss in der Lizenz ausdrücklich erlaubt sein.
- Spezialisierte KI-Datenanbieter. Unternehmen, die kuratierte Text-, Bild-, Audio- und Sprachsammlungen verkaufen, oft mit Annotation und zunehmend auch mit individueller Erhebung auf Anfrage.
- Offene Datensatz-Hubs. Repositorien, in denen Datensätze kostenlos heruntergeladen werden können, jeder aber eine eigene Lizenz hat, und das Lizenzfeld ist nicht immer ausgefüllt oder korrekt.
- Direkte Lizenzvereinbarungen. Große Plattformen und Verlage lizenzieren ihre Inhalte inzwischen direkt an KI-Entwickler. Die Vereinbarung zwischen Reddit und Google aus dem Jahr 2024 und eine Reihe von Deals zwischen Nachrichtenverlagen und KI-Laboren haben diesen Teil des Marktes sichtbar gemacht, doch er ist ein Weg für große Käufer, kein Katalog zur Selbstbedienung.
Gemeinsam ist allen Wegen, dass Sie ebenso Rechte kaufen wie Bytes. Zwei Datensätze mit gleichem Inhalt können sehr unterschiedlich viel wert sein, je nachdem, was die Lizenz Ihnen erlaubt.
Was eine Lizenz Ihnen tatsächlich gibt
Bevor Sie Preise vergleichen, prüfen Sie die Lizenz auf vier Punkte:
- Erlaubte Nutzung. Training, Fine-Tuning, Evaluierung und kommerzieller Einsatz sind getrennte Berechtigungen. „Nutzung für Forschungszwecke“ schließt ein kommerzielles Modell in der Regel aus.
- Umfang und Exklusivität. Gilt die Lizenz pro Modell, pro Produkt oder unternehmensweit? Darf der Anbieter dieselben Daten an Ihre Wettbewerber verkaufen? Fast immer ja.
- Laufzeit und was danach passiert. Viele Lizenzen laufen ein Jahr. Prüfen Sie, ob ein während der Laufzeit trainiertes Modell nach deren Ende weiter genutzt werden darf und ob Sie die Rohdaten löschen müssen.
- Gewährleistungen. Bestätigt der Anbieter, dass er berechtigt war, die Daten zu erheben und zu verkaufen, und steht er für diese Zusage ein? Eine Lizenz ohne diese Gewährleistung verlagert das rechtliche Risiko zurück zu Ihnen.
Offene Hubs verdienen dieselbe Sorgfalt. Die Prüfung weit verbreiteter Textdatensätze durch die Data Provenance Initiative ergab, dass Lizenzangaben in einem großen Teil der Fälle fehlten oder falsch waren. Deshalb empfehlen wir, selbst festzuhalten, woher jedes Dokument stammt, wie in unserem Leitfaden zur Datenherkunft in der KI-Trainingspipeline beschrieben.
Die Kosten, die nicht auf dem Preisschild stehen
Aktualität. Ein gekaufter Datensatz ist eine Momentaufnahme. Wenn Ihr Modell aktuelle Preise, Produkte, Vorschriften oder Sprache kennen muss, beginnt die Momentaufnahme am Tag des Kaufs zu altern, und Aktualisierungsabonnements sind entsprechend teuer.
Lücken in der Abdeckung. Kataloge sind auf Englisch und in den größten Märkten am stärksten. Teams, die ein bestimmtes Land, eine Regionalsprache oder eine Nischendomäne brauchen, finden die Daten oft dünn oder auf eine Weise erhoben, die der Anbieter nicht dokumentiert.
Geteilte Daten. Was Sie kaufen können, können alle anderen auch. Lizenzierte Daten verschaffen einem Modell allein selten einen Vorsprung.
Integration. Jeder Anbieter hat sein eigenes Schema, eigene Deduplizierungsregeln und ein eigenes Qualitätsniveau. Quellen zu bereinigen und zusammenzuführen ist echte Entwicklungsarbeit, egal auf welchem Weg die Daten kamen.
Compliance-Dokumentation. Die Vorlage der KI-Verordnung (EU AI Act) für die Zusammenfassung bei Modellen mit allgemeinem Verwendungszweck verlangt, lizenzierte private Datensätze neben öffentlichen Datensätzen und gescrapten Quellen aufzuführen. Der Kauf von Daten erspart Ihnen die Dokumentation nicht; er ändert nur, was Sie dokumentieren müssen.
Die Kosten der eigenen Erhebung
Die eigene Erhebung hat ihre eigene Rechnung:
- Entwicklung. Crawler, Parser, Zeitplanung, Speicherung und Monitoring, dazu Wartung, wenn sich die Zielseiten ändern.
- Zugang. Websites begrenzen wiederholte Anfragen von einer einzelnen IP und zeigen je nach Land oft unterschiedliche Inhalte. Öffentliche Daten in großem Umfang und von den richtigen Standorten aus zu erheben, erfordert ein dafür ausgelegtes Netzwerk, etwa Residential Proxies mit Targeting nach Land und Stadt.
- Richtlinien. Sie brauchen eine klare Regel für robots.txt, Vorbehalte gegen Text und Data Mining und die Nutzungsbedingungen von Websites, festgehalten im Moment der Erhebung. Unsere Übersicht zu robots.txt und KI-Opt-out-Signalen erklärt, welche Signale Sie beachten sollten.
- Qualitätsarbeit. Deduplizierung, Spracherkennung, Entfernen von Boilerplate und Filterung dauern so lange wie das Crawling selbst.
Im Gegenzug erhalten Sie Daten, die aktuell sind, auf Ihre Aufgabe zugeschnitten, so dokumentiert, wie Sie es brauchen, und nicht Teil des Trainingsmixes eines Wettbewerbers.
Ein Entscheidungsraster: wann kaufen, wann sammeln
| Situation | Bessere Wahl | Warum |
|---|---|---|
| Einmaliger Benchmark oder Evaluierungsdatensatz | Kaufen oder offene Daten nutzen | Klar abgegrenzt, Aktualität spielt eine geringere Rolle |
| Daten müssen wöchentlich oder täglich aktualisiert werden | Selbst sammeln | Aktualisierungslizenzen werden teuer und hinken hinterher |
| Bestimmte Länder oder Regionalsprachen | Selbst sammeln oder kaufen und ergänzen | Kataloge sind außerhalb großer Märkte dünn |
| Daten, die nur innerhalb einer Plattform existieren | Direkt lizenzieren | Eine Erhebung würde Bedingungen verletzen oder wäre unmöglich |
| Ein eigener Wettbewerbsvorteil ist das Ziel | Selbst sammeln | Lizenzierte Daten stehen allen zur Verfügung |
| Kleines Team, erster Prototyp | Kaufen oder offene Daten nutzen | Erst ausliefern, später in die Erhebung investieren |
| Prüfintensive Kunden oder Aufsichtsbehörden | Beides, mit vollständigen Nachweisen | Entscheidend ist der Nachweis, nicht der Weg |
Ein nützlicher Test: Wenn Sie denselben Datensatz in sechs Monaten erneut kaufen müssten, bezahlen Sie für eine Pipeline, ohne eine zu besitzen.
Der hybride Ansatz, bei dem die meisten Teams landen
Erfahrene Teams entscheiden sich selten für nur eine Seite. Ein verbreitetes Muster:
- Mit offenen und lizenzierten Daten beginnen, um schnell eine funktionierende Basis zu haben.
- Messen, wo das Modell scheitert: fehlende Länder, veraltete Fakten, schwache Domänen.
- Nur für diese Lücken selbst sammeln, aus öffentlichen Quellen, nach Zeitplan und mit Herkunftsnachweis zum Zeitpunkt des Abrufs.
- Einen einzigen Katalog führen, der jede Quelle, ihre Lizenz oder Erhebungsrichtlinie und ihr Aktualisierungsdatum auflistet, damit die öffentliche Zusammenfassung und Kundenfragebögen Stunden statt Wochen dauern.
Wenn Sie diese Erhebungsebene aufbauen, führt Sie unser Leitfaden zum Erstellen großer Trainingsdatensätze aus dem offenen Web durch die Pipeline vom Crawling bis zu bereinigten Datensätzen.
Das Fazit
Kaufen Sie Trainingsdaten, wenn der Bedarf klar abgegrenzt, verbreitet und nicht zeitkritisch ist, und lesen Sie die Lizenz so sorgfältig wie die Stichprobe. Sammeln Sie selbst, wenn Aktualität, regionale Abdeckung oder ein eigener Wettbewerbsvorteil zählen, und halten Sie die Herkunft ab der ersten Anfrage fest. Die meisten Teams tun beides, und diejenigen, die es gut machen, behandeln jede Quelle, ob gekauft oder selbst gesammelt, als etwas, das sie erklären können.