API de web scraping
Un seul endpoint, toutes les pages. L’API de scraping gère la rotation des proxys, Chrome headless, l’exécution JavaScript, la résolution de CAPTCHA et les nouvelles tentatives automatiques.
Endpoint
Section intitulée « Endpoint » GET https://scrape.shifter.io/v1
Les variantes POST et PUT sont également prises en charge, voir Requêtes POST et Requêtes PUT.
Authentification
Section intitulée « Authentification »Transmettez votre clé API en tant que paramètre de requête api_key à chaque requête. Les clés sont gérées dans le panel sous Web Scraping API → API Keys.
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"Paramètres principaux
Section intitulée « Paramètres principaux »| Paramètre | Type | Requis | Description |
|---|---|---|---|
api_key | string | oui | Votre clé API |
url | string | oui | L’URL à récupérer |
render_js | 0 | 1 | non | Active le rendu Chrome headless |
premium_proxy | 0 | 1 | non | Achemine via des IP résidentielles (Growth+) |
mobile_proxy | 0 | 1 | non | Achemine via des IP mobiles (Growth+) |
country | Code ISO | non | Pays pour la géolocalisation du proxy |
device | desktop | mobile | tablet | non | Appareil simulé |
session_id | string | non | Réutilise les cookies et le proxy entre les requêtes |
timeout | ms | non | Durée maximale que le navigateur peut consacrer, jusqu’à 60000 |
wait_for | ms | non | Attente d’inactivité après la navigation (5000-10000 recommandé) |
wait_for_css | selector | non | Bloque jusqu’à l’apparition du sélecteur CSS |
wait_until | string | non | Condition d’attente de navigation (avancé) |
keep_headers | 0 | 1 | non | Transmet les en-têtes personnalisés à la cible |
custom_headers | JSON | non | En-têtes de requête personnalisés (encodés en URL) |
custom_cookies | string | non | Valeur de l’en-tête Cookie |
extract_rules | JSON | non | Sélecteurs CSS à analyser en JSON structuré |
auto_parser | 0 | 1 | non | Analyse automatique des réponses JSON |
screenshot | 0 | 1 | non | Retourne un PNG au lieu du HTML |
screenshot_options | JSON | non | Taille de la capture d’écran et sélecteur |
binary_response | 0 | 1 | non | Diffuse des contenus binaires (PDF, images) |
js_instructions | JSON | non | Exécute défilement/clic/attente avant la capture |
disable_stealth | 0 | 1 | non | Désactive le plugin stealth |
webhook | URL | non | Envoie la réponse par POST à cette URL une fois prête |
forward_proxy | URL | non | Chaîne via votre proxy en amont |
Chaque paramètre attendant du JSON doit être encodé en URL.
Exemple rapide
Section intitulée « Exemple rapide »curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"Pages du endpoint
Section intitulée « Pages du endpoint » Requête basique Minimal GET with api_key and url.
Paramètres complets Every parameter documented in detail.
Requêtes POST Scrape URLs that require POST bodies.
Requêtes PUT Scrape PUT endpoints.
Rendu JavaScript render_js flag and limits.
Instructions JavaScript Scroll, click, wait before capture.
Attente CSS wait_for_css selector syntax.
Forcer les délais d'expiration Cap browser time with timeout.
Capture d'écran Capture full-page or element PNG.
Sessions Hold cookies and IP across requests.
Fichiers binaires Download PDFs, images, other binaries.
En-têtes personnalisés Forward headers to the target.
Cookies personnalisés Inject cookies into the request.
Proxys Datacenter vs residential vs mobile.
Géolocalisation country parameter and supported locations.
Règles d'extraction Return parsed JSON.
Analyseur JSON automatique auto_parser for JSON endpoints.
Erreurs API Status codes and retry semantics.