Erweitert

Benutzerdefinierte Header

Übergeben Sie Header als URL-codiertes JSON-Objekt über custom_headers:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com&custom_headers=%7B%22Authorization%22%3A%22Bearer%20abc123%22%7D"

Nützlich, wenn das Ziel Bearer-Token, X-Requested-With: XMLHttpRequest oder Spracheinstellungen erwartet.

Benutzerdefinierte Cookies

Setzen Sie Cookies direkt über custom_cookies:

cookie_name=value; other_name=value2

URL-codiert:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&custom_cookies=session_id%3Dabc%3B%20locale%3Den-US"

Für Cookies über mehrere Anfragen hinweg empfehlen wir session_id, vom Server gesetzte Cookies werden automatisch beibehalten.

POST und PUT

Wechseln Sie die Methode mit method. Übergeben Sie den Body als Request-Body.

curl -X POST \
  "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com/users&method=POST" \
  -H "Content-Type: application/json" \
  -d '{"email":"user@example.com","plan":"pro"}'

PUT funktioniert identisch mit method=PUT.

Screenshots

Geben Sie ein vollständiges PNG-Bild der Seite anstelle von HTML zurück:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&screenshot=1" \
  -o screenshot.png

Optionen:

• screenshot_full_page=1, erfasst über den sichtbaren Bereich hinaus.
• screenshot_selector=<css>, erfasst nur ein einzelnes Element.

Binärdateien

Fügen Sie für PDFs, Bilder oder jede andere Nicht-Text-Antwort binary_response=1 hinzu. Der Scraper streamt die Binärdaten durch:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/file.pdf&binary_response=1" \
  -o file.pdf

Stealth-Steuerung

Manche Ziele erkennen den standardmäßigen Browser-Fingerabdruck. Sie können den Stealth-Modus zu Debugging-Zwecken deaktivieren (in der Produktion nicht empfohlen):

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&disable_stealth=1&render_js=1"

Kombinieren von Flags

Alle Flags lassen sich kombinieren. Eine reale Anfrage sieht so aus:

curl "https://scrape.shifter.io/v1?\
api_key=YOUR_API_KEY&\
url=https://shop.example.com/products/42&\
render_js=1&\
wait_for_css=.price&\
session_id=cart-001&\
premium_proxy=1&\
country=us&\
extract_rules=%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%7D"

Eine erfolgreiche Anfrage, ein Credit.

Weiter

• Fehler & Limits, was die Codes bedeuten und wie Wiederholungsversuche mit Credits zusammenhängen.
• FAQ, Credits, Fehlschläge, benutzerdefinierte Skripte.