Web-Scraping-API

Sende eine URL und erhalte gerendertes HTML oder geparstes JSON zurück. Ein Endpunkt übernimmt Proxy-Rotation, Headless Chrome, JavaScript-Ausführung, CAPTCHA-Lösung und Wiederholungsversuche.

Wichtigste Funktionen

JavaScript-Rendering

Vollständiges Headless Chrome auf Abruf. Auf CSS-Selektoren warten, Skripte ausführen, vor der Erfassung scrollen oder klicken.

Automatische Wiederholungen + CAPTCHAs

Fehlgeschlagene oder blockierte Anfragen werden automatisch mit anderen Proxys wiederholt. reCAPTCHA und hCaptcha werden während der Anfrage gelöst.

Extraktionsregeln

Gib geparstes JSON statt rohem HTML zurück. Definiere CSS-Selektoren pro Feld, kein nachgelagerter Parser erforderlich.

Residential + Mobile

Growth-Pläne und höher leiten über den Pool von 205M+ Residential IPs sowie mobile IPs. Globale Geolokalisierung.

Endpunkt

https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Füge Parameter als Query-Strings hinzu. Alles andere (Proxy-Auswahl, Browser, Wiederholungsversuche) wird für dich erledigt.

Kurzbeispiel

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

Gibt das vollständig gerenderte HTML zurück. Füge extract_rules für strukturiertes JSON hinzu:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"

# {"title": "Example Domain"}

Pläne

Plan	Credits	Gleichzeitigkeit	Preis	Proxy-Pool
Starter	100K	20	$44/Monat	Datacenter (US/EU)
Growth	1M	50	$134/Monat	Residential + Mobile
Business	3M	100	$269/Monat	Residential + Mobile
Enterprise	10M	500	$719/Monat	Residential + Mobile

1 Credit = 1 erfolgreiche Anfrage. Fehlgeschlagene Anfragen werden nicht berechnet. Aktuelle Preise ansehen.

Nächste Schritte

Schnellstart Dein erster gerenderter Scrape in weniger als 60 Sekunden.

JavaScript rendern render_js, wait_for_css, Timeouts, JS-Anweisungen.

Extraktionsregeln Strukturiertes JSON statt rohem HTML zurückgeben.

Sitzungen & Proxys Eine Sitzung über mehrere Anfragen hinweg beibehalten, ein Land auswählen.

Erweitert Benutzerdefinierte Header, Cookies, POST/PUT, Screenshots, Binärdaten.

Fehler & Limits Fehlercodes, Credits, Verhalten bei Fehlschlägen.