Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Barrierefreiheitsprüfung über Märkte hinweg: Testen, was Nutzer in jedem Land tatsächlich sehen
Eine Prüfung Ihrer US-Startseite sagt wenig über Ihre deutsche oder japanische aus. Wir haben 23 Websites aus vier Ländern geprüft: Ein Viertel hatte marktspezifische Probleme.
Ist Ihr Ziel blockierbar? Ein Anti-Bot-Stack-Lookup
Bevor Sie einen Scraper bauen, finden Sie heraus, was das Ziel schützt. Wir haben die Top 1.000 Domains geprüft: welche Anti-Bot-Anbieter sie nutzen und wie sich ein einfacher Client geschlagen hat.
Ratenparitätsüberwachung: Wenn das eigene Inventar unterboten wird
Hotels verlieren Direktbuchungen, wenn ihre eigenen Zimmer anderswo günstiger erscheinen. So überwachen Sie die Ratenparität über Kanäle und Märkte hinweg, ohne Fehlalarme.
Proxy-Auswahl als Multi-Armed-Bandit-Problem
Welche Proxy-Konfiguration sollte die nächste Anfrage verwenden? Betrachten Sie es als Bandit-Problem. In unserer Simulation kam die adaptive Auswahl bis auf 2% an die perfekte Rückschau heran.
Idempotente Scraper entwerfen: Neustart ohne Duplizierung
Scraper stürzen ab. Wir haben einen zehnmal mitten im Crawl abgebrochen: Eine naive Version speicherte bis zu 4,3-mal so viele Zeilen, eine idempotente genau 500. So baut man die zweite.
Wie man gefälschte Bewertungen und Bewertungsbetrug im großen Maßstab erkennt
Gefälschte Bewertungen sind in den USA, Großbritannien und der EU verboten, und Plattformen entfernen Hunderte Millionen davon. Wie man Bewertungsbetrug bei vielen Produkten erkennt, mit getestetem Code.
Mit hreflang jede Sprach- und Länderversion einer Seite finden
hreflang listet jede lokalisierte Version einer Seite auf. Wir haben untersucht, wie Top-Websites es nutzen, was dabei nicht funktioniert und warum manche Versionen sich nur aus einem Land heraus öffnen lassen.
Zeichenkodierungen in gescrapten Daten: Zeichensätze erkennen und Mojibake beheben
Wir haben 193 Top-Startseiten in sechs Ländern abgerufen. Ein gängiger Python-Standard hat den Text von 37 davon verstümmelt. Wie man gescrapte Seiten so dekodiert wie Browser es tun.
Die Rohantwort behalten: Gescrapte Seiten im WARC-Format für die Wiedergabe archivieren
Parser werden besser und Extraktoren brechen, aber eine Seite, die nicht gespeichert wurde, kann nicht erneut geparst werden. Wie man Rohantworten im WARC-Format speichert, mit getestetem Code und realen Größenangaben.