Elena Petrova
Data Science
Elena schreibt Datenstudien und Benchmarks sowie über die Qualität gesammelter Daten: wie man sie misst, bereinigt und Datensätze erstellt, die Bestand haben.
Schreibt über
- Datenstudien und Benchmarks
- Datenqualität
- Datensatzerstellung
Artikel von Elena Petrova
-
10. November 2026 · Wissen
Web-Archive als Datenquelle: Was die Wayback Machine zeigen kann und was nicht
Die Wayback Machine enthält über eine Billion Captures. Wie man sie abfragt, wo ihre Abdeckung und Qualität an Grenzen stoßen und warum sie immer mehr Websites aussperren.
-
6. November 2026 · Wissen
Common Crawl: Wann ein kostenloser Crawl ausreicht und wann man einen eigenen braucht
Common Crawl veröffentlicht monatlich kostenlos Milliarden von Seiten. Was es enthält, was es auslässt, wie man prüft, ob die eigenen Quellen darin vorhanden sind, und wann man selbst crawlen sollte.
-
5. November 2026 · Wissen
Gleiches Produkt, unterschiedlicher Preis: Geografische Preisdiskriminierung in 20 Ländern
Wir haben die Listenpreise für 10 Spiele an einem Tag in 20 Ländern verglichen. Dasselbe Spiel kostete in einem Markt bis zu 4,1 Mal mehr. Die Daten, die Methode und die Fallstricke.
-
3. November 2026 · Wissen
Wikipedia fordert KI-Unternehmen auf, seine kostenpflichtige API zu nutzen und das Scraping einzustellen
Wikipedia bat KI-Unternehmen um Namensnennung und die Nutzung von Wikimedia Enterprise und verschärfte dann seine Beschränkungen. Was sich geändert hat und die richtigen Wege zu den Daten.
-
31. Oktober 2026 · Wissen
Die meistgescrapten Websites 2026: Ein 30-Tage-Snapshot des Web Scrapings
Welche Websites werden 2026 am häufigsten gescrapt? Wir haben 30 Tage öffentliche Nutzungsdaten von 8.186 fertigen Scrapern und 239,8 Millionen Läufen ausgewertet und die Ziele nach Nachfrage und Erfolgsquote gerankt.
-
29. Oktober 2026 · Wissen
Mehrsprachige und regionale Webdaten für LLMs sammeln
So sammeln Sie mehrsprachige und regionale Webdaten für das LLM-Training: Abdeckung nach Sprache planen, lokale Quellen finden, die richtige Sprachversion abrufen, Sprachen erkennen, pro Sprache filtern und den Mix ausbalancieren.
-
26. Oktober 2026 · Wissen
Marktplätze und Lizenzen für KI-Trainingsdaten: Wann kaufen, wann selbst sammeln
Wie Marktplätze und Lizenzvereinbarungen für KI-Trainingsdaten funktionieren, was lizenzierte Daten Sie wirklich kosten und ein praktisches Entscheidungsraster, wann Sie einen Datensatz kaufen und wann Sie ihn selbst sammeln sollten.
-
24. Oktober 2026 · Wissen
Herkunft in der KI-Trainingspipeline: Nachweisen, woher Ihr Datensatz stammt
Was Herkunftsnachweise für KI-Trainingsdaten in der Praxis bedeuten: welche Aufzeichnungen für jedes Dokument zu führen sind, was die Zusammenfassung des EU AI Act verlangt, und wie Sie dies konsequent umsetzen.
-
19. Oktober 2026 · Scraping
Retry-Ökonomie: Die Versuchsnummer, ab der sich Wiederholen nicht mehr lohnt
Jeder Wiederholungsversuch ist weniger erfolgversprechend als der vorherige. Wie Sie anhand Ihrer eigenen Logs und ein paar Zeilen Python ermitteln, ab wann sich das Wiederholen nicht mehr auszahlt.
-
15. Oktober 2026 · Residential-Proxys
ASN-Vielfalt in Residential-Proxy-Pools: So misst man sie
Ein kostenloses Python-Skript zur Messung der ASN-Vielfalt in einem Proxy-Pool: Top-Netzwerk-Anteil, HHI und effektive ASNs, plus die Ergebnisse unseres Benchmarks mit 17 Netzwerken.
-
11. Oktober 2026 · Wissen
Stoppen CAPTCHAs Bots oder bremsen sie sie nur aus? Abschreckung gegen Löserate gemessen
Was zwei Jahrzehnte Forschung über CAPTCHAs sagen: wie viel Zeit sie Menschen kosten, wie oft Bots und KI-Agenten sie lösen, und warum sie heute als Kostenfaktor wirken.
-
8. Oktober 2026 · Scraping
Payload-Effizienz: Welcher Anteil einer gescrapten Seite ist Boilerplate, für die Sie bezahlt haben
Wir haben 278 Inhaltsseiten der Top-1.000-Websites gemessen. Der Text, den Sie wollen, macht etwa 1% des HTML aus und einen winzigen Anteil dessen, was ein Browser herunterlädt.
-
7. Oktober 2026 · Residential-Proxys
Shifter hat jetzt den größten Live-Pool an US-Residential-IPs
Wir haben Shifter erneut durch unseren Residential-Proxy-Benchmark laufen lassen: 212.212 Live-US-IPs bei 250.000 Anfragen, der größte Live-US-Pool der 17 getesteten Netzwerke.