Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Aufbau eines Target Health Score: Erkennen, dass sich eine Website gegen Sie wendet
Websites blockieren einen Crawler selten in einem Schritt. Sie fordern zunächst heraus, blockieren sanft und verlangsamen. Wie man diese Signale in einen Score pro Website verwandelt und danach handelt.
Matt Brown · 22. September 2026 Kostenbewusste Crawl-Planung: Ihr Budget dort einsetzen, wo sich etwas ändert
Der größte Teil des Recrawl-Budgets wird dafür ausgegeben, zu bestätigen, dass sich nichts geändert hat. Wie man nach erwartetem Wert pro Kosten plant und warum die Seiten, die sich am schnellsten ändern, nicht der beste Kauf sind.
James Meadow · 22. September 2026 Backpressure und Flusskontrolle in verteilten Crawlern
Ein Crawler ist eine Pipeline, und ihre schnellste Stufe wird ihre langsamste überfluten. Wie begrenzte Warteschlangen, pull-basierte Arbeitsverteilung und adaptive Limits pro Host einen Crawler stabil halten.
Chris Collins · 22. September 2026 Scraper in CI/CD ausführen: Proxy-Zugangsdaten, Secrets und Testläufe
Wie man Scraper in CI ausführt, ohne Proxy-Zugangsdaten preiszugeben oder bei jedem Push Bandbreite zu verschwenden: Speicherung von Secrets, Test-Stufen, Sessions, Kontingentprüfungen und Rotation.
Chris Collins · 21. September 2026 Zeigen SEO-Tools das echte Suchvolumen? Drei Anbieter im Vergleich mit der SERP-Realität
Keyword Planner, Semrush und Ahrefs schätzen das Suchvolumen jeweils unterschiedlich. Was unabhängige Tests ergaben, und warum die aktive SERP wichtiger ist als die Zahl.
Matt Brown · 21. September 2026 Welche Länder werden am häufigsten geoblockt, und von wem
Sanktionierte Länder führen jede Messung von Geoblocking an, doch sie sind nicht die ganze Geschichte. Was die Recherche darüber zeigt, wer wen blockiert, und wie.
James Meadow · 21. September 2026 Werbelast nach Markt: Wie viel einer Seite ist Werbung, Land für Land
Niemand hat Werbe-Bytes als Anteil an den Seiten-Bytes nach Land veröffentlicht. Hier ist, was die Daten tatsächlich zeigen, und warum Chrome die echte Antwort erst jetzt möglich gemacht hat.
Matt Brown · 20. September 2026 Consent Walls nach Land: Wo das Web am schwersten zu lesen ist
Consent-Banner, Reject-Walls und Pay-or-okay-Bildschirme sind nicht gleichmäßig verteilt. Was Crawls von 31 Ländern darüber zeigen, wo das Web am schwersten zu erreichen ist.
Chris Collins · 20. September 2026 Wie man Bewertungen und Ratings von Arbeitgebern über verschiedene Seiten hinweg überwacht
Arbeitgeberbewertungen beeinflussen, wer sich bewirbt. So überwachen Sie Ratings und Themen über Bewertungsseiten hinweg, vergleichen Wettbewerber und bleiben innerhalb der Regeln jeder Seite.
James Meadow · 19. September 2026