Web Scraping API
Ein Endpoint, jede Seite. Die Scraping-API übernimmt Proxy-Rotation, Headless Chrome, JavaScript-Ausführung, CAPTCHA-Lösung und automatische Wiederholungsversuche.
Endpoint
Abschnitt betitelt „Endpoint“ GET https://scrape.shifter.io/v1
POST- und PUT-Varianten werden ebenfalls unterstützt, siehe POST requests und PUT requests.
Authentifizierung
Abschnitt betitelt „Authentifizierung“Übergeben Sie Ihren API-Schlüssel als api_key-Query-Parameter bei jeder Anfrage. Schlüssel werden im Panel unter Web Scraping API → API Keys verwaltet.
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"Kernparameter
Abschnitt betitelt „Kernparameter“| Parameter | Typ | Erforderlich | Beschreibung |
|---|---|---|---|
api_key | string | ja | Ihr API-Schlüssel |
url | string | ja | Die abzurufende URL |
render_js | 0 | 1 | nein | Aktiviert Headless-Chrome-Rendering |
premium_proxy | 0 | 1 | nein | Leitet über Residential IPs weiter (Growth+) |
mobile_proxy | 0 | 1 | nein | Leitet über mobile IPs weiter (Growth+) |
country | ISO-Code | nein | Land für die Proxy-Geolokalisierung |
device | desktop | mobile | tablet | nein | Simuliertes Gerät |
session_id | string | nein | Wiederverwendung von Cookies und Proxy über mehrere Anfragen hinweg |
timeout | ms | nein | Maximale Zeit, die der Browser aufwenden darf, bis zu 60000 |
wait_for | ms | nein | Leerlaufwartezeit nach der Navigation (5000-10000 empfohlen) |
wait_for_css | selector | nein | Blockiert, bis der CSS-Selektor erscheint |
wait_until | string | nein | Navigationswartebedingung (fortgeschritten) |
keep_headers | 0 | 1 | nein | Leitet benutzerdefinierte Header an das Ziel weiter |
custom_headers | JSON | nein | Benutzerdefinierte Request-Header (URL-codiert) |
custom_cookies | string | nein | Wert des Cookie-Headers |
extract_rules | JSON | nein | CSS-Selektoren zum Parsen in strukturiertes JSON |
auto_parser | 0 | 1 | nein | Automatisches Parsen von JSON-Antworten |
screenshot | 0 | 1 | nein | Gibt PNG statt HTML zurück |
screenshot_options | JSON | nein | Screenshot-Größe und -Selektor |
binary_response | 0 | 1 | nein | Streamt Binärdaten (PDFs, Bilder) |
js_instructions | JSON | nein | Führt Scroll/Klick/Warten vor der Erfassung aus |
disable_stealth | 0 | 1 | nein | Deaktiviert das Stealth-Plugin |
webhook | URL | nein | Sendet die Antwort per POST an diese URL, sobald sie bereit ist |
forward_proxy | URL | nein | Leitet über Ihren vorgelagerten Proxy weiter |
Jeder Parameter, der JSON erwartet, muss URL-codiert sein.
Kurzes Beispiel
Abschnitt betitelt „Kurzes Beispiel“curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"Endpoint-Seiten
Abschnitt betitelt „Endpoint-Seiten“ Basisanfrage Minimales GET mit api_key und url.
Vollständige Parameter Jeder Parameter im Detail dokumentiert.
POST-Anfragen Scrapen von URLs, die POST-Bodies erfordern.
PUT-Anfragen Scrapen von PUT-Endpoints.
JavaScript rendern render_js-Flag und Limits.
JavaScript-Anweisungen Scrollen, Klicken, Warten vor der Erfassung.
Auf CSS warten wait_for_css-Selektorsyntax.
Timeouts erzwingen Browserzeit mit timeout begrenzen.
Screenshot Vollständige Seite oder Element als PNG erfassen.
Sitzungen Cookies und IP über mehrere Anfragen hinweg beibehalten.
Binärdateien PDFs, Bilder und andere Binärdateien herunterladen.
Benutzerdefinierte Header Header an das Ziel weiterleiten.
Benutzerdefinierte Cookies Cookies in die Anfrage einschleusen.
Proxys Datacenter vs. Residential vs. Mobile.
Geolokalisierung country-Parameter und unterstützte Standorte.
Extraktionsregeln Geparstes JSON zurückgeben.
JSON-Auto-Parser auto_parser für JSON-Endpoints.
API-Fehler Statuscodes und Wiederholungssemantik.