Schnellstart

Stellen Sie eine einzige Anfrage an scrape.shifter.io/v1 und lassen Sie Shifter die Proxy-Rotation, headless Chrome und Wiederholungsversuche für Sie übernehmen.

1. Holen Sie sich Ihren API-Schlüssel

   Melden Sie sich unter shifter.io/panel an und öffnen Sie Web Scraping API → API Keys. Kopieren Sie einen aktiven Schlüssel.

2. Eine Seite abrufen

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. JavaScript-Rendering aktivieren

   Fügen Sie render_js=1 hinzu, um headless Chrome zu starten und das vollständig gerenderte DOM zurückzugeben. Kostet genauso viel wie ein statischer Abruf.

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. Strukturierte Daten extrahieren

   Überspringen Sie den HTML-Parser. Übergeben Sie extract_rules als URL-codiertes JSON und erhalten Sie JSON zurück:

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

Tipp

Der Starter-Plan verwendet Rechenzentrums-Proxys, ausreichend für die meisten statischen Seiten. Upgraden Sie auf Growth oder höher, um über Residential IPs und mobile IPs zu routen, für Seiten, die den Traffic per Fingerprinting erkennen.

Next

• Rendering JavaScript, auf Selektoren warten, scrollen, klicken, Screenshot erstellen.
• Extraction rules, strukturierte Ausgabe ohne HTML-Parsing.
• Sessions & proxies, Cookies über mehrere Anfragen hinweg beibehalten.