Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Wer blockiert die KI-Crawler? GPTBot, ClaudeBot und Co. bei den Top 10.000 Websites
Wir haben die robots.txt der Top 10.000 Domains ausgelesen. Jede fünfte Website blockiert mindestens einen KI-Crawler, während fast alle Suchmaschinen weiterhin willkommen heißen.
Chris Collins · 6. Oktober 2026 Die Kosten eines veralteten User-Agents: Messung der Browser-Versionsdrift
Scraper hinterlegen oft eine feste Browser-Version und vergessen sie. Wir riefen 397 Top-Websites auf und gaben dabei Chrome-Versionen von bis zu 6,5 Jahren Alter an. Die Ablehnungsrate stieg mit jedem Jahr.
Chris Collins · 5. Oktober 2026 Ist Ihr Ziel blockierbar? Ein Anti-Bot-Stack-Lookup
Bevor Sie einen Scraper bauen, finden Sie heraus, was das Ziel schützt. Wir haben die Top 1.000 Domains geprüft: welche Anti-Bot-Anbieter sie nutzen und wie sich ein einfacher Client geschlagen hat.
Chris Collins · 3. Oktober 2026 Proxy-Auswahl als Multi-Armed-Bandit-Problem
Welche Proxy-Konfiguration sollte die nächste Anfrage verwenden? Betrachten Sie es als Bandit-Problem. In unserer Simulation kam die adaptive Auswahl bis auf 2% an die perfekte Rückschau heran.
James Meadow · 2. Oktober 2026 Idempotente Scraper entwerfen: Neustart ohne Duplizierung
Scraper stürzen ab. Wir haben einen zehnmal mitten im Crawl abgebrochen: Eine naive Version speicherte bis zu 4,3-mal so viele Zeilen, eine idempotente genau 500. So baut man die zweite.
Chris Collins · 2. Oktober 2026 Zeichenkodierungen in gescrapten Daten: Zeichensätze erkennen und Mojibake beheben
Wir haben 193 Top-Startseiten in sechs Ländern abgerufen. Ein gängiger Python-Standard hat den Text von 37 davon verstümmelt. Wie man gescrapte Seiten so dekodiert wie Browser es tun.
Chris Collins · 1. Oktober 2026 Die Rohantwort behalten: Gescrapte Seiten im WARC-Format für die Wiedergabe archivieren
Parser werden besser und Extraktoren brechen, aber eine Seite, die nicht gespeichert wurde, kann nicht erneut geparst werden. Wie man Rohantworten im WARC-Format speichert, mit getestetem Code und realen Größenangaben.
Matt Brown · 1. Oktober 2026 Die API hinter der Seite finden: Datenerfassung aus JSON-Endpunkten statt HTML
Viele Seiten laden ihre Daten als JSON. Wie man den Endpunkt findet, der die Daten enthält, warum er oft an die Sitzung der Seite gebunden ist und wie man sie verantwortungsvoll erfasst.
Chris Collins · 30. September 2026 Sitemaps als Entdeckungsquelle: Jede URL finden, ohne die gesamte Website zu crawlen
XML-Sitemaps listen die URLs einer Website auf, manchmal auch, wann sie geändert wurden. Wie man sie richtig liest und warum man lastmod niemals ohne Überprüfung vertrauen sollte.
James Meadow · 29. September 2026