Leitfäden, Tutorials & Einblicke
Erfahren Sie vom Shifter-Team mehr über Residential-Proxys, Web Scraping, Datenerfassungsstrategien und bewährte Branchenpraktiken.
Normalisierung von Preisen, Zahlen und Daten über verschiedene Sprachräume hinweg
1.234,56 € und $1,234.56 sind beides Preise, und 03/04/2026 ist zwei verschiedene Daten. So werden gescrapte Werte je nach Sprachraum korrekt geparst, mit getestetem Code.
James Meadow · 30. September 2026 Die API hinter der Seite finden: Datenerfassung aus JSON-Endpunkten statt HTML
Viele Seiten laden ihre Daten als JSON. Wie man den Endpunkt findet, der die Daten enthält, warum er oft an die Sitzung der Seite gebunden ist und wie man sie verantwortungsvoll erfasst.
Chris Collins · 30. September 2026 Vorstellung von IP Info: Eine kostenlose IP-Geolokalisierungs-API, kein API-Schlüssel erforderlich
IP Info ist Shifters kostenlose IP-Geolokalisierungs- und ASN-API. Sie läuft auf derselben Datenbank, die auch hinter unseren Proxy-Pools steht, benötigt keine Anmeldung oder API-Schlüssel und ist bereit für KI-Agenten.
James Meadow · 29. September 2026 Schema Drift in gescrapten Daten: Defekte Extraktoren erkennen, bevor es Ihre Nutzer tun
Scraper stürzen selten ab, wenn sich eine Website ändert. Sie laufen weiter und liefern subtil falsche Daten. Wie Data Contracts und Batch-Profiling Drift frühzeitig erkennen.
Matt Brown · 29. September 2026 Sitemaps als Entdeckungsquelle: Jede URL finden, ohne die gesamte Website zu crawlen
XML-Sitemaps listen die URLs einer Website auf, manchmal auch, wann sie geändert wurden. Wie man sie richtig liest und warum man lastmod niemals ohne Überprüfung vertrauen sollte.
James Meadow · 29. September 2026 LLM-Extraktion vs. Selektoren: Wann man ein Modell die Seite lesen lässt
Wir haben ein großes Sprachmodell Felder aus 18 aktiven Nachrichtenseiten extrahieren lassen und es anhand der eigenen strukturierten Daten der Seiten bewertet. Genauigkeit, Kosten und wann man es einsetzen sollte.
Chris Collins · 28. September 2026 Deduplizierung gescrapter Daten: Entity Resolution für Produkte, Unternehmen und Anzeigen
Dasselbe Produkt, Unternehmen oder dieselbe Anzeige taucht über Quellen und Durchläufe hinweg mehrfach auf. Wie man Identifikatoren normalisiert, sicher in großem Maßstab abgleicht und einen sauberen Datensatz erhält.
Matt Brown · 28. September 2026 Kosten pro sauberem Datensatz: Die Scraping-Kennzahl, die das Finanzwesen wirklich versteht
Gigabyte und Anfragenzahlen sagen dem Finanzwesen nicht, was Daten kosten. So misst man Kosten pro sauberem Datensatz und pro nützlicher Änderung, und welche Stellhebel am meisten bewirken.
James Meadow · 27. September 2026 Änderungserkennung im großen Maßstab: Webseiten vergleichen, ohne im Rauschen zu ertrinken
Seiten ändern sich bei jedem Laden: Werbung, Zeitstempel, Tokens. Wie man echte Änderungen vom Rauschen unterscheidet, mit Normalisierung, feldbasierten Diffs und Simhash, inklusive getestetem Code.
Chris Collins · 27. September 2026