Sessions et proxys
La plupart des scrapes se font en une seule fois. Lorsque vous devez conserver des cookies entre les requêtes ou cibler une zone géographique spécifique, utilisez les sessions et les contrôles de proxy.
Sessions
Section intitulée « Sessions »Une session conserve les cookies, l’état du navigateur et l’IP du proxy amont sur plusieurs requêtes. Transmettez session_id avec la chaîne de votre choix :
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"La seconde requête réutilise les cookies de connexion de la première. Les sessions restent actives jusqu’à 10 minutes d’inactivité avant d’expirer.
Cas d’usage des sessions
Section intitulée « Cas d’usage des sessions »- Se connecter une fois, scraper des pages authentifiées sur la même session
- Parcourir des résultats paginés qui dépendent de curseurs côté serveur
- Maintenir un panier d’achat ouvert entre les ajouts d’articles
Géolocalisation
Section intitulée « Géolocalisation »Demandez un proxy d’un pays spécifique avec country :
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"Les valeurs sont des codes de pays ISO 3166-1 alpha-2. Disponible dans le monde entier sur les plans Growth et supérieurs ; Starter est limité à US/EU.
Pools de proxies
Section intitulée « Pools de proxies »| Paramètre | Pool | Disponible sur |
|---|---|---|
| par défaut (aucun indicateur) | Sélectionné intelligemment pour la cible | Tous les plans |
premium_proxy=1 | IPs résidentielles issues du pool de plus de 205M | Growth et supérieurs |
mobile_proxy=1 | IPs d’opérateurs mobiles | Growth et supérieurs |
Combinez avec country pour un contrôle précis :
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"Utiliser votre propre proxy
Section intitulée « Utiliser votre propre proxy »Acheminez la requête via votre propre proxy amont avec forward_proxy (encodé en URL) :
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"Utile pour les configurations hybrides où certaines cibles nécessitent votre proxy d’entreprise.
- Avancé, en-têtes personnalisés, cookies, POST, binaire.
- Erreurs et limites, plafonds de concurrence, codes d’erreur.