Mehrsprachige und regionale Webdaten für LLMs sammeln

Der größte Teil des offenen Webs ist in einer Handvoll Sprachen geschrieben, und ein Crawler, der von einem Land aus läuft, sieht einen noch schmaleren Ausschnitt: die englische oder Standardversion von Websites, die einem lokalen Besucher lokalen Text zeigen würden. Wenn Sie Modelle für mehrere Märkte trainieren oder feinabstimmen, ist das Sammeln wirklich mehrsprachiger und regionaler Daten ein eigenes Problem, und genau hier wird die Datenerfassung für KI und ML schwierig.

Dieser Leitfaden zeigt, wie Sie die Abdeckung nach Sprache planen, wo Sie lokale Quellen finden, wie Sie die Version abrufen, die lokale Leser sehen, und wie Sie den Text danach erkennen, filtern und ausbalancieren. Für die allgemeine Pipeline vom Crawl zum Korpus lesen Sie unseren Leitfaden zum Erstellen großer Trainingsdatensätze aus dem offenen Web.

Abdeckung nach Sprache und Region planen

Beginnen Sie mit einer Tabelle, nicht mit einem Crawler. Notieren Sie für jede Zielsprache:

• Relevante Regionen. Spanisch aus Spanien, Mexiko und Argentinien unterscheidet sich in Wortschatz, Schreibweise und Themen. Portugiesisch aus Brasilien und Portugal unterscheidet sich noch stärker. Legen Sie fest, welche Varietäten Sie brauchen.
• Zielmenge pro Sprache und Varietät, in Tokens oder Dokumenten.
• Bereiche, die abgedeckt sein müssen: Nachrichten, Foren, Behörden, Handel, Nachschlagewerke, technische Dokumentation.
• Schriften. Manche Sprachen werden in mehr als einer Schrift geschrieben, etwa Serbisch in Kyrillisch und Latein. Entscheiden Sie, ob Sie beide behalten.

Diese Tabelle wird zu Ihrem Test. Vergleichen Sie am Ende jedes Erfassungslaufs Sprache für Sprache, was Sie bekommen haben, mit dieser Tabelle.

Lokale Quellen finden

Allgemeine Crawls erfassen kleine Sprachen zu wenig, also bauen Sie Seed-Listen pro Sprache auf:

• Länderdomains wie .pl, .vn oder .co.ke sind ein starkes erstes Signal für regionale Inhalte.
• Sprachversionen globaler Websites. hreflang-Tags in Seiten-Headern und Sitemaps listen jede Sprachversion einer Seite auf. Unser Leitfaden zum Finden aller Sprachversionen einer Seite mit hreflang zeigt, wie Sie sie auslesen.
• Lokale Verzeichnisse, Nachrichtenaggregatoren und Behördenportale, die auf viele Websites in derselben Sprache verlinken.
• Suchergebnisse in der lokalen Sprache, aus der Region abgerufen, die Websites zeigen, die ein globaler Crawl selten erreicht.

Halten Sie für jeden Seed die Quelle und den Opt-out-Status fest. Respektieren Sie robots.txt und KI-Opt-outs beim Abruf und bewahren Sie diese Angaben zusammen mit den Daten auf.

Die Version abrufen, die lokale Leser sehen

Viele Websites entscheiden anhand des Besucherstandorts, was sie ausliefern: Sprache, Währung, lokale Nachrichten, eine regionale Ausgabe oder eine Consent-Hürde. Ein Crawler in einem Rechenzentrum bekommt für jedes Land die Standardversion, oft Englisch, und speichert sie, als wäre es lokaler Inhalt.

Um die lokale Version zu erfassen, muss jede Anfrage wie ein lokaler Leser aussehen:

• Eine IP im Zielland, idealerweise ein Heimanschluss. Anfragen über Residential Proxies kommen von Residential-IPs im gewählten Land oder in der gewählten Stadt, sodass Websites sie wie echte Besucher weiterleiten und lokalisieren.
• Einen passenden Accept-Language-Header, zum Beispiel pl-PL,pl;q=0.9 für polnische Leser in Polen.
• Stimmige Signale. Zeitzone und Locale in einem Headless-Browser sollten zur IP passen. Abweichungen sind ein Grund, warum Websites auf eine Standardversion zurückfallen; unser Beitrag zum Abgleich von Proxy-Standort, Zeitzone und Locale geht die Prüfungen durch.

Prüfen Sie früh im Lauf eine Stichprobe aus jeder Region von Hand. Wenn der „vietnamesische” Bestand voller englischer Seiten ist, stimmt die Abrufschicht nicht, und kein späterer Filter behebt das.

Die Sprache jedes Dokuments erkennen

Verlassen Sie sich nie allein auf das lang-Attribut oder die Domain. Lassen Sie ein Spracherkennungsmodell über den extrahierten Text laufen:

• Das fastText-Modell lid.176 deckt 176 Sprachen ab und ist schnell genug für jedes Dokument.
• Breitere Modelle wie GlotLID decken weit mehr Sprachen ab und sind besser für ressourcenarme Sprachen.

Erkennen Sie die Sprache pro Absatz und pro Dokument. Viele Seiten mischen Sprachen: ein lokaler Artikel mit englischem Navigationsmenü oder ein Forenthread, in dem Nutzer wechseln. Behalten Sie die Absätze in der gewünschten Sprache und speichern Sie einen Konfidenzwert, damit Sie den Schwellenwert später verschärfen können. Bei kurzen Texten scheitert die Erkennung am häufigsten, legen Sie also eine Mindestlänge fest, bevor Sie einem Label vertrauen.

Pro Sprache filtern, nicht global

Auf Englisch abgestimmte Qualitätsfilter schaden anderen Sprachen. Heuristiken wie Stoppwortanzahl, durchschnittliche Wortlänge oder Satzzeichenanteile verhalten sich im Thailändischen, das keine Leerzeichen zwischen Wörtern hat, oder im Finnischen mit sehr langen Wörtern anders. Legen Sie Schwellenwerte pro Sprache fest, anhand einer Stichprobe, die ein Muttersprachler geprüft hat.

Zwei Probleme wachsen in mehrsprachigen Daten:

• Maschinell übersetzte Inhalte. Viele Websites veröffentlichen automatische Übersetzungen englischer Seiten. Sie bringen Menge, bringen dem Modell aber Übersetzungsfehler bei. Markieren Sie Seiten, die fast Übersetzungen bekannter englischer Seiten sind, und behandeln Sie ganze Websites, die alles automatisch übersetzen, mit Vorsicht.
• Kodierungsfehler. Falsch dekodierter Text erzeugt Zeichensalat, der wie eine echte, aber seltsame Sprache aussieht. Normalisieren Sie auf Unicode, reparieren oder verwerfen Sie defekte Kodierungen und normalisieren Sie Unicode-Formen, damit dasselbe Wort nicht auf zwei Arten gespeichert wird.

Deduplizieren Sie innerhalb jeder Sprache und sprachübergreifend, denn derselbe Standardtext, dieselben Rechtshinweise und Vorlagen erscheinen in jeder Version einer Website.

Den Mix ausbalancieren

Rohe Webdaten werden von wenigen Sprachen dominiert. Training auf den Rohanteilen bedeutet, dass kleine Sprachen kaum gelernt werden. Training auf gleichen Anteilen bedeutet, dass kleine Sprachen oft wiederholt werden und das Modell sie auswendig lernt.

Der übliche Mittelweg ist Temperature Sampling: Jede Sprache wird proportional zu ihrer Größe hoch einem Exponenten kleiner als eins gezogen. Die Veröffentlichungen zu mT5 und XLM-R nutzten den Exponenten 0,3. Was Sie auch wählen, dokumentieren Sie es mit den Token-Zahlen pro Sprache vor und nach dem Sampling, damit der Mix reproduzierbar und erklärbar ist. Unser Leitfaden zur Herkunft von Daten in der KI-Trainingspipeline zeigt, was Sie festhalten sollten.

Das Fazit

Mehrsprachige Daten sind keine englischen Daten mit einem Übersetzungsschritt. Planen Sie die Abdeckung nach Sprache und Varietät, finden Sie lokale Quellen, rufen Sie jede Region so ab, wie lokale Leser sie sehen, erkennen Sie die Sprache pro Absatz, filtern Sie mit Schwellenwerten pro Sprache und balancieren Sie den Mix bewusst aus. Die Erfassungsschicht entscheidet, ob Ihre „polnischen” Daten wirklich polnisch sind, also bringen Sie zuerst den Abruf in Ordnung.