Sessions & Proxys
Die meisten Scrapes sind Einzelanfragen. Wenn Sie Cookies über mehrere Requests hinweg beibehalten oder eine bestimmte Geografie anvisieren möchten, verwenden Sie Sessions und Proxy-Steuerungen.
Sessions
Abschnitt betitelt „Sessions“Eine Session speichert Cookies, Browserzustand und die vorgelagerte Proxy-IP über mehrere Requests hinweg. Übergeben Sie session_id mit einer beliebigen Zeichenfolge Ihrer Wahl:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"Der zweite Request verwendet die Login-Cookies aus dem ersten wieder. Sessions bleiben bis zu 10 Minuten Leerlaufzeit bestehen, bevor sie ablaufen.
Anwendungsfälle für Sessions
Abschnitt betitelt „Anwendungsfälle für Sessions“- Einmal anmelden und authentifizierte Seiten innerhalb derselben Session scrapen
- Paginierte Ergebnisse durchlaufen, die von serverseitigen Cursorn abhängen
- Einen Warenkorb über mehrere Artikelhinzufügungen hinweg offen halten
Geolokalisierung
Abschnitt betitelt „Geolokalisierung“Fordern Sie einen Proxy aus einem bestimmten Land mit country an:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"Die Werte sind ISO-3166-1-Alpha-2-Ländercodes. Weltweit verfügbar ab dem Growth-Plan; Starter ist auf US/EU beschränkt.
Proxy-Pools
Abschnitt betitelt „Proxy-Pools“| Parameter | Pool | Verfügbar bei |
|---|---|---|
| Standard (kein Flag) | Intelligent für das Ziel ausgewählt | Allen Plänen |
premium_proxy=1 | Residential IPs aus dem Pool mit 205M+ | Growth und höher |
mobile_proxy=1 | Mobilfunk-IPs | Growth und höher |
Kombinieren Sie mit country für eine feinere Steuerung:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"Eigenen Proxy verwenden
Abschnitt betitelt „Eigenen Proxy verwenden“Leiten Sie den Request über Ihren eigenen vorgelagerten Proxy mit forward_proxy (URL-kodiert):
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"Nützlich für Hybrid-Setups, bei denen einige Ziele Ihren Unternehmensproxy erfordern.
- Erweitert, benutzerdefinierte Header, Cookies, POST, Binärdaten.
- Fehler & Limits, Concurrency-Obergrenzen, Fehlercodes.