Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
LLM-Extraktion vs. Selektoren: Wann man ein Modell die Seite lesen lässt
Wir haben ein großes Sprachmodell Felder aus 18 aktiven Nachrichtenseiten extrahieren lassen und es anhand der eigenen strukturierten Daten der Seiten bewertet. Genauigkeit, Kosten und wann man es einsetzen sollte.
Chris Collins · 28. September 2026 Änderungserkennung im großen Maßstab: Webseiten vergleichen, ohne im Rauschen zu ertrinken
Seiten ändern sich bei jedem Laden: Werbung, Zeitstempel, Tokens. Wie man echte Änderungen vom Rauschen unterscheidet, mit Normalisierung, feldbasierten Diffs und Simhash, inklusive getestetem Code.
Chris Collins · 27. September 2026 Schluss mit HTML-Parsing: Strukturierte Daten aus JSON-LD und eingebetteten Daten extrahieren
Die meisten Seiten enthalten bereits maschinenlesbare Daten. Wie man JSON-LD und eingebettetes JSON extrahiert statt sich auf brüchige Selektoren zu verlassen, und was zu tun ist, wenn die Daten unvollständig sind.
Matt Brown · 26. September 2026 Aufbau eines Target Health Score: Erkennen, dass sich eine Website gegen Sie wendet
Websites blockieren einen Crawler selten in einem Schritt. Sie fordern zunächst heraus, blockieren sanft und verlangsamen. Wie man diese Signale in einen Score pro Website verwandelt und danach handelt.
Matt Brown · 22. September 2026 Kostenbewusste Crawl-Planung: Ihr Budget dort einsetzen, wo sich etwas ändert
Der größte Teil des Recrawl-Budgets wird dafür ausgegeben, zu bestätigen, dass sich nichts geändert hat. Wie man nach erwartetem Wert pro Kosten plant und warum die Seiten, die sich am schnellsten ändern, nicht der beste Kauf sind.
James Meadow · 22. September 2026 Backpressure und Flusskontrolle in verteilten Crawlern
Ein Crawler ist eine Pipeline, und ihre schnellste Stufe wird ihre langsamste überfluten. Wie begrenzte Warteschlangen, pull-basierte Arbeitsverteilung und adaptive Limits pro Host einen Crawler stabil halten.
Chris Collins · 22. September 2026 Scraper in CI/CD ausführen: Proxy-Zugangsdaten, Secrets und Testläufe
Wie man Scraper in CI ausführt, ohne Proxy-Zugangsdaten preiszugeben oder bei jedem Push Bandbreite zu verschwenden: Speicherung von Secrets, Test-Stufen, Sessions, Kontingentprüfungen und Rotation.
Chris Collins · 21. September 2026 Wie man Bewertungen und Ratings von Arbeitgebern über verschiedene Seiten hinweg überwacht
Arbeitgeberbewertungen beeinflussen, wer sich bewirbt. So überwachen Sie Ratings und Themen über Bewertungsseiten hinweg, vergleichen Wettbewerber und bleiben innerhalb der Regeln jeder Seite.
James Meadow · 19. September 2026 Wie man umfangreiche Trainingsdatensätze aus dem offenen Web erstellt
Seiten zu sammeln ist der einfache Teil. Wie man einen Open-Web-Crawl in ein Trainingskorpus verwandelt: Frontier, Opt-Outs, Extraktion, Filterung, Deduplizierung und Dekontamination.
Matt Brown · 18. September 2026