Requête API

Pour extraire une page web, envoyez une requête GET au point de terminaison de base de l’API Web Scraping avec votre api_key et l’url cible. Des paramètres optionnels supplémentaires vous permettent de contrôler le rendu, le type de proxy, la géolocalisation, les délais d’expiration, et plus encore.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Parameters

Parameter	Type	Required	Description
api_key	string	yes	Votre clé d’accès à l’API Web Scraping. Disponible dans le tableau de bord de votre compte.
url	string	yes	L’URL cible à extraire.
render_js	integer	no	0 (par défaut) ou 1. Active le rendu JavaScript via un navigateur headless. Coûte 5 appels API pour datacenter et 25 pour residential.
proxy_type	string	no	datacenter (par défaut) ou residential. Residential coûte 10 appels sans rendu JS et 25 avec.
country	string	no	Code pays à 2 lettres pour la géolocalisation du proxy. La liste prise en charge dépend du type de proxy.
keep_headers	integer	no	1 pour transmettre les en-têtes de requête personnalisés, 0 pour n’utiliser que ceux que vous spécifiez.
session	integer	no	Réutilisez la même IP de proxy sur plusieurs requêtes en réutilisant le même numéro de session. Expire 5 minutes après la dernière utilisation.
timeout	integer	no	Durée maximale de la requête en millisecondes. Maximum 60000. L’API renvoie le HTML collecté avant le déclenchement du délai d’expiration.
device	string	no	desktop (par défaut), mobile, ou tablet.
wait_until	string	no	Avancé. Condition déterminant quand le rendu est considéré comme terminé. Nécessite render_js=1.
wait_for	integer	no	Avancé. Millisecondes à attendre après le chargement de la page. Recommandé 5000-10000. Nécessite render_js=1.
wait_for_css	string	no	Avancé. Attend jusqu’à 10 secondes qu’un sélecteur CSS apparaisse. Nécessite render_js=1.
screenshot	integer	no	Avancé. Définissez sur 1 pour renvoyer une capture d’écran. Nécessite render_js=1.
screenshot_options	object	no	Avancé. Contrôle les dimensions de la capture d’écran et full_page.
extract_rules	string	no	Avancé. JSON encodé en URL décrivant les règles d’extraction CSS.
disable_stealth	integer	no	Avancé. Définissez sur 1 pour désactiver le plugin stealth par défaut. Nécessite render_js=1.
auto_parser	integer	no	Avancé. Définissez sur 1 pour renvoyer du JSON analysé au lieu de HTML.
js_instructions	string	no	Avancé. Tableau JSON encodé en URL d’actions à exécuter avant l’extraction. Nécessite render_js=1.
binary_response	integer	no	Définissez sur 1 pour renvoyer un fichier binaire encodé en base64 (pour les PDF, images, etc.).

Example request

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
})
print(r.text)

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
});
const res = await fetch(url);
console.log(await res.text());

See also

• Requête de base - exemple minimal
• Rendu JavaScript
• Proxies
• Erreurs de l’API