API-Anfrage

Um eine Webseite zu scrapen, senden Sie eine GET-Anfrage an den Basis-Endpoint der Web Scraping API mit Ihrem api_key und der Ziel-url. Zusätzliche optionale Parameter ermöglichen es Ihnen, Rendering, Proxy-Typ, Geolokation, Timeouts und mehr zu steuern.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Parameter

Parameter	Typ	Erforderlich	Beschreibung
api_key	string	ja	Ihr Zugriffsschlüssel für die Web Scraping API. Zu finden in Ihrem Konto-Dashboard.
url	string	ja	Die zu scrapende Ziel-URL.
render_js	integer	nein	0 (Standard) oder 1. Aktiviert JavaScript-Rendering über einen Headless-Browser. Kostet 5 API-Aufrufe für Datacenter und 25 für Residential.
proxy_type	string	nein	datacenter (Standard) oder residential. Residential kostet 10 Aufrufe ohne JS-Rendering und 25 mit.
country	string	nein	2-stelliger Ländercode für die Proxy-Geolokation. Die unterstützte Liste hängt vom Proxy-Typ ab.
keep_headers	integer	nein	1, um eigene Request-Header durchzureichen, 0, um nur die von Ihnen angegebenen zu verwenden.
session	integer	nein	Verwendet dieselbe Proxy-IP über mehrere Anfragen hinweg, indem dieselbe Sitzungsnummer wiederverwendet wird. Läuft 5 Minuten nach der letzten Nutzung ab.
timeout	integer	nein	Maximale Anfragezeit in Millisekunden. Maximal 60000. Die API gibt das HTML zurück, das bis zum Auslösen des Timeouts erfasst wurde.
device	string	nein	desktop (Standard), mobile oder tablet.
wait_until	string	nein	Erweitert. Bedingung, ab wann das Rendering als abgeschlossen gilt. Erfordert render_js=1.
wait_for	integer	nein	Erweitert. Millisekunden, die nach dem Laden der Seite gewartet werden. Empfohlen 5000-10000. Erfordert render_js=1.
wait_for_css	string	nein	Erweitert. Wartet bis zu 10 Sekunden auf das Erscheinen eines CSS-Selektors. Erfordert render_js=1.
screenshot	integer	nein	Erweitert. Auf 1 setzen, um einen Screenshot zurückzugeben. Erfordert render_js=1.
screenshot_options	object	nein	Erweitert. Steuert Screenshot-Abmessungen und full_page.
extract_rules	string	nein	Erweitert. URL-kodiertes JSON, das CSS-Extraktionsregeln beschreibt.
disable_stealth	integer	nein	Erweitert. Auf 1 setzen, um das standardmäßige Stealth-Plugin zu deaktivieren. Erfordert render_js=1.
auto_parser	integer	nein	Erweitert. Auf 1 setzen, um geparstes JSON anstelle von HTML zurückzugeben.
js_instructions	string	nein	Erweitert. URL-kodiertes JSON-Array von Aktionen, die vor dem Scraping ausgeführt werden. Erfordert render_js=1.
binary_response	integer	nein	Auf 1 setzen, um eine base64-kodierte Binärdatei zurückzugeben (für PDFs, Bilder usw.).

Beispielanfrage

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
})
print(r.text)

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
});
const res = await fetch(url);
console.log(await res.text());

Siehe auch

• Einfache Anfrage - minimales Beispiel
• JavaScript rendern
• Proxys
• API-Fehler