KI-Funktionen gehören inzwischen zu den meisten Produkten: ein Chat-Assistent auf der Hilfeseite, eine KI-Suche im Shop, generierte Produktbeschreibungen, ein Empfehlungsbereich. Jede davon kann je nach Standort des Nutzers anders antworten, und diese Unterschiede zeigen sich selten, wenn das Team aus dem Büro testet. Wenn Ihr Produkt mehrere Märkte bedient, gehört die Prüfung der KI-Ausgabe pro Land zu Ihrer Arbeit an KI und Machine Learning und zu Ihren Release-Tests, nicht erst hinter die Beschwerde aus einem Markt.
Dieser Leitfaden zeigt, warum sich KI-Ausgaben je nach Land ändern, was Sie prüfen sollten, wie Testanfragen wie die eines lokalen Nutzers aussehen und wie Sie Antworten vergleichen, die nie Wort für Wort gleich sind.
Warum sich KI-Ausgaben je nach Land ändern
Die meisten Unterschiede entstehen im Produkt rund um das Modell, nicht im Modell selbst:
- Standort als Kontext. Viele Assistenten fügen dem Prompt das Land oder die Stadt des Nutzers hinzu, gelesen aus der IP. Eine falsche Zuordnung liefert eine selbstsichere Antwort für den falschen Markt.
- Regionales Routing. Anfragen können je nach Region an ein anderes Modell, eine andere Version oder einen anderen Endpunkt gehen, oft aus Gründen der Datenresidenz. Zwei Märkte können am selben Tag unterschiedliche Modellversionen nutzen.
- Feature-Flags. KI-Funktionen werden oft Land für Land eingeführt. Ein Button, der in einem Markt funktioniert, kann in einem anderen fehlen oder defekt sein.
- Richtlinien und Compliance. Lokale Regeln zu Gesundheit, Finanzen, Wahlen oder Alter können Ablehnungen oder Hinweise auslösen, die nur in einigen Ländern erscheinen.
- Retrieval. Durchsucht der Assistent das Web, ein Hilfecenter oder einen Produktkatalog, geschieht das meist mit der Region des Nutzers, sodass sich die zitierten Fakten und Produkte ändern.
Der erste und der letzte Punkt hängen von der IP ab, von der die Anfrage kommt. Deshalb übersieht ein Test von einem einzigen Standort sie.
Was Sie in jedem Markt prüfen
Prüfen Sie für jeden Markt, den Sie bedienen, dieselben Eigenschaften:
| Prüfung | Was schiefgehen kann |
|---|---|
| Sprache | Antworten auf Englisch für einen Nutzer in Japan oder gemischte Sprachen in einer Antwort |
| Währung und Einheiten | Preise in Dollar für einen deutschen Nutzer, Meilen statt Kilometer |
| Lokale Fakten | Falsche Lieferzeiten, Feiertage, Steuerregeln oder Filialstandorte für dieses Land |
| Verfügbarkeit von Funktionen | Die KI-Funktion ist ausgeblendet, wirft Fehler oder zeigt die Meldung „in Ihrer Region nicht verfügbar” |
| Richtlinienverhalten | Ablehnungen oder Hinweise, die in einem Land gelten sollen, erscheinen überall, oder umgekehrt |
| Produkte und Quellen | Empfehlungen oder Quellenangaben zu Artikeln, die in diesem Markt nicht verkauft werden oder nicht relevant sind |
| Formatierung | Datumsangaben, Zahlen und Adressen im falschen lokalen Format |
Mehrere dieser Punkte überschneiden sich mit klassischen Seitenprüfungen. Unser Leitfaden zur Lokalisierungs-QA im großen Maßstab behandelt Texte, hreflang und Layout. Diese Checkliste deckt ab, was die KI-Ebene zusätzlich mitbringt.
Als lokaler Nutzer testen
Der Standort kommt meist aus der IP, also muss die Testanfrage aus dem Markt kommen. Senden Sie sie über Residential Proxies mit Targeting auf das Land, wendet das Produkt dieselbe Regionserkennung, dieselben Flags und dieselben Richtlinien an wie bei einem echten Nutzer dort. Rechenzentrumsbereiche werden von IP-Datenbanken oft dem falschen Land zugeordnet oder hinter Bot-Prüfungen gestellt, was Ihnen Testergebnisse liefert, die niemand in diesem Markt je sehen würde.
Passen Sie auch den Rest der Anfrage an den Markt an: den Accept-Language-Header, die Zeitzone und die Locale-Einstellungen des Browsers. Eine japanische IP mit einem englischen Browser ist ein anderer Nutzer als eine japanische IP mit einem japanischen Browser, und beide sind einen Test wert. Unser Beitrag zum Abgleich von Proxy-Standort, Zeitzone und Locale erklärt, wie Sie diese Signale konsistent halten.
Behalten Sie bei einem Chat über mehrere Runden mit einer Sticky Session eine IP für das gesamte Gespräch, damit das Produkt nicht sieht, wie der Nutzer zwischen den Runden den Standort wechselt:
customer-USERNAME-country-jp-sid-chat-ja-01-ttl-600:PASSWORDEin kleines Test-Harness
Das folgende Harness sendet dieselben Prompts aus mehreren Märkten an Ihren KI-Endpunkt und prüft Eigenschaften statt exakten Text. Ersetzen Sie den Endpunkt und die Prüfungen durch Ihre eigenen.
import requests
GATEWAY = "p.shifter.io:443"
USER, PASS = "USERNAME", "PASSWORD"
ENDPOINT = "https://app.example.com/api/assistant"
MARKETS = {
"de": {"lang": "de-DE", "currency": "€"},
"jp": {"lang": "ja-JP", "currency": "¥"},
"br": {"lang": "pt-BR", "currency": "R$"},
"us": {"lang": "en-US", "currency": "$"},
}
PROMPTS = ["How much is shipping for a 2 kg parcel?", "Recommend a laptop under my budget."]
RUNS = 3
def ask(country, lang, prompt, run):
proxy = f"http://customer-{USER}-country-{country}-sid-ai-{country}-{run}-ttl-600:{PASS}@{GATEWAY}"
r = requests.post(ENDPOINT, json={"message": prompt},
headers={"Accept-Language": lang},
proxies={"http": proxy, "https": proxy}, timeout=60)
return r.status_code, r.json().get("answer", "") if r.ok else ""
for country, m in MARKETS.items():
for prompt in PROMPTS:
hits = 0
for run in range(RUNS):
status, answer = ask(country, m["lang"], prompt, run)
if status == 200 and m["currency"] in answer:
hits += 1
print(country, prompt[:30], f"currency ok in {hits}/{RUNS} runs")Ergänzen Sie für jede Zeile der Tabelle oben eine Prüfung: eine Spracherkennung für die Antwort, eine Liste der in jedem Markt verkauften Produkte, ein Muster für die regionale Meldung „nicht verfügbar”. Führen Sie jeden Prompt mehrmals aus, denn Modellausgaben variieren zwischen Durchläufen. Eine Prüfung, die in zwei von drei Durchläufen besteht, ist ein Befund, kein Rauschen.
Teil der Release-Tests machen
- Führen Sie das Harness nach jeder Änderung an Modell, Prompt oder Flag aus, aus jedem Markt, nicht nur aus der Standardregion.
- Pflegen Sie pro Markt einen festen Prompt-Satz, geschrieben von Muttersprachlern, mit den Fragen, die Kunden dort tatsächlich stellen.
- Speichern Sie Antworten mit Land, Modellversion und Zeitpunkt, damit Sie eine Modelländerung von einer Routing-Änderung unterscheiden können.
- Prüfen Sie Ablehnungen wöchentlich nach Land. Eine Ablehnungsrate, die in einem Markt sprunghaft steigt, deutet meist auf eine Richtlinie oder einen regionalen Endpunkt hin.
Erscheinen Ihre KI-Funktionen auch in der Suche, gilt dieselbe Methode pro Markt für das Monitoring der Sichtbarkeit in der KI-Suche, bei dem es darum geht, was andere Assistenten in jedem Land über Sie sagen.
Das Fazit
KI-Ausgaben sind lokal, weil das Produkt rund um das Modell den Standort des Nutzers ausliest und danach handelt. Testen Sie jeden Markt von einer Residential-IP in diesem Markt, mit passender Sprache und Locale, halten Sie Chats über mehrere Runden auf einer Sticky-IP und prüfen Sie Eigenschaften wie Sprache, Währung, lokale Fakten, Verfügbarkeit und Ablehnungen über mehrere Durchläufe. Tun Sie das bei jedem Release, und regionale KI-Fehler sind nicht länger etwas, das Ihre Kunden zuerst finden.