Requête API

Pour extraire une page web, envoyez une requête GET au point de terminaison de base de l’API Web Scraping avec votre api_key et l’url cible. Des paramètres optionnels supplémentaires vous permettent de contrôler le rendu, le type de proxy, la géolocalisation, les délais d’expiration, et plus encore.

Point de terminaison

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Paramètres

Paramètre	Type	Obligatoire	Description
api_key	string	oui	Votre clé d’accès à l’API Web Scraping. Disponible dans le tableau de bord de votre compte.
url	string	oui	L’URL cible à extraire.
render_js	integer	non	0 (par défaut) ou 1. Active le rendu JavaScript via un navigateur headless. Coûte 5 appels API pour datacenter et 25 pour residential.
proxy_type	string	non	datacenter (par défaut) ou residential. Residential coûte 10 appels sans rendu JS et 25 avec.
country	string	non	Code pays à 2 lettres pour la géolocalisation du proxy. La liste prise en charge dépend du type de proxy.
keep_headers	integer	non	1 pour transmettre les en-têtes de requête personnalisés, 0 pour n’utiliser que ceux que vous spécifiez.
session	integer	non	Réutilisez la même IP de proxy sur plusieurs requêtes en réutilisant le même numéro de session. Expire 5 minutes après la dernière utilisation.
timeout	integer	non	Durée maximale de la requête en millisecondes. Maximum 60000. L’API renvoie le HTML collecté avant le déclenchement du délai d’expiration.
device	string	non	desktop (par défaut), mobile, ou tablet.
wait_until	string	non	Avancé. Condition déterminant quand le rendu est considéré comme terminé. Nécessite render_js=1.
wait_for	integer	non	Avancé. Millisecondes à attendre après le chargement de la page. Recommandé 5000-10000. Nécessite render_js=1.
wait_for_css	string	non	Avancé. Attend jusqu’à 10 secondes qu’un sélecteur CSS apparaisse. Nécessite render_js=1.
screenshot	integer	non	Avancé. Définissez sur 1 pour renvoyer une capture d’écran. Nécessite render_js=1.
screenshot_options	object	non	Avancé. Contrôle les dimensions de la capture d’écran et full_page.
extract_rules	string	non	Avancé. JSON encodé en URL décrivant les règles d’extraction CSS.
disable_stealth	integer	non	Avancé. Définissez sur 1 pour désactiver le plugin stealth par défaut. Nécessite render_js=1.
auto_parser	integer	non	Avancé. Définissez sur 1 pour renvoyer du JSON analysé au lieu de HTML.
js_instructions	string	non	Avancé. Tableau JSON encodé en URL d’actions à exécuter avant l’extraction. Nécessite render_js=1.
binary_response	integer	non	Définissez sur 1 pour renvoyer un fichier binaire encodé en base64 (pour les PDF, images, etc.).

Exemple de requête

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
})
print(r.text)

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
});
const res = await fetch(url);
console.log(await res.text());

Voir aussi

• Requête de base - exemple minimal
• Rendu JavaScript
• Proxies
• Erreurs de l’API