Kostenlose Testversion startenAnmelden

Glossar

Was ist ein User Agent?

Ein User-Agent ist ein HTTP-Anfrage-Header, der die anfragende Client-Software identifiziert -- typischerweise einschließlich Browsername, Version, Betriebssystem und Rendering-Engine -- wie 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'.

Verstehen Sie den User-Agent-String, warum er das einfachste Signal ist, das Websites zur Identifizierung von Scrapern verwenden, und wie Sie User-Agents zusammen mit Ihren IPs rotieren, ohne Ihren Fingerprint zu gefährden.

Erklärt

Der User-Agent-Header ist eines der ältesten Identifikationsmerkmale im Web. Jede HTTP-Anfrage, die ein Client sendet, enthält eine `User-Agent:`-Zeile, die die Client-Software (Browser oder Bibliothek), ihre Version, das Betriebssystem und oft die Rendering-Engine benennt. Server verwenden ihn für Content-Negotiation (mobile vs. Desktop-Layouts), Analysen und zunehmend für Bot-Erkennung.

Beim Scraping ist der User-Agent das einfachste Signal, das Sie falsch machen können. Standard-User-Agents gängiger HTTP-Bibliotheken (`python-requests/2.31.0`, `axios/1.5.0`, `okhttp/4.10.0`) sind eindeutige Verräter. Selbst der Standard-User-Agent von Playwright und Puppeteer enthält `HeadlessChrome`, was Anti-Bot-Systeme sofort markieren.

Die naive Lösung besteht darin, bei jeder Anfrage einen Chrome-UA zu setzen. Der Haken ist, dass der User-Agent allein nicht ausreicht - modernes Fingerprinting gleicht den UA mit `sec-ch-ua`-Client-Hints, dem TLS-Fingerprint, dem JavaScript-Navigator-Objekt und dem Accept-Language-Header ab. Einen Chrome-UA zu setzen, aber Pythons TLS-Handshake offenzulassen, erzeugt ein größeres Warnsignal, als einfach den Standard-UA beizubehalten.

So funktioniert es

Wenn Ihr Client eine Verbindung zu einem Server öffnet, enthält die Anforderungszeile Header. Die `User-Agent`-Zeile ist einer davon. Server analysieren sie (oder protokollieren sie nur) und leiten die Anfrage basierend auf dem Inhalt weiter. Ein moderner Chrome-User-Agent unter Windows sieht so aus: `Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36`. Das Präfix 'Mozilla/5.0' ist historisch bedingt; jeder Browser sendet es aus Gründen der Legacy-Kompatibilität.

Echte Browser senden in modernem HTTP auch `sec-ch-ua` ('Sec-CH-UA' Client Hints)-Header, die strukturierte Browser-/Versions-/Plattformdaten enthalten. Anti-Bot-Systeme vergleichen diese mit dem User-Agent-String und markieren Inkonsistenzen. Daher muss die User-Agent-Rotation mit konsistenten `sec-ch-ua-*`-Aktualisierungen und passenden TLS-Fingerprints kombiniert werden.

Typen

Desktop-Browser-User-Agents

Chrome, Firefox, Edge, Safari unter Windows/macOS/Linux. Die am häufigsten verwendete UA-Familie für das Scraping allgemeiner Web-Ziele.

Mobile Browser User-Agents

Chrome auf Android, Safari auf iOS, Samsung Internet. Erforderlich beim Scraping mobiloptimierter Seiten oder in Kombination mit mobilen Proxys für konsistente Fingerabdrücke.

Bot / Crawler User-Agents

Identifizierende UAs wie `Googlebot/2.1`, `bingbot/2.0`. Werden von legitimen Suchmaschinen-Crawlern verwendet; manche Seiten setzen diese auf die Whitelist. Das Fälschen dieser UAs birgt rechtliche Risiken und ToS-Verstöße.

Library Default User-Agents

`python-requests/X.Y`, `curl/X.Y`, `Mozilla/5.0 (compatible; Java/X.Y)`. Standard-UAs aus HTTP-Bibliotheken -- diese niemals für produktives Scraping verwenden; sie sind trivial identifizierbar.

Häufige Anwendungsfälle

Identifizierung von Client-Browser und Betriebssystem für die Inhaltsaushandlung
Serverseitige Analysen und Besuchersegmentierung
Bot-Erkennung (Standard-Bibliotheks-UAs sind offensichtliche Verräter)
Auswahl des Layouts für Mobil- oder Desktop-Ansicht
Caching nach Browser-Familie
User-Agent-Rotation in Scrapern zur Nachahmung verschiedener echter Nutzer
FAQ

Häufig gefragt FAQ-Fragen

Häufige Fragen zu user agent.

Verwenden Sie einen aktuellen, weit verbreiteten User-Agent, der einer echten Browser-Version entspricht, die innerhalb der letzten Monate veröffentlicht wurde. Chrome unter Windows oder macOS ist ein sicherer Standard. Rotieren Sie über einen kleinen Pool aktueller UAs, anstatt einen festen UA für alle Anfragen zu verwenden.