Démarrage rapide

Effectuez une seule requête vers scrape.shifter.io/v1 et laissez Shifter gérer pour vous la rotation des proxies, Chrome headless et les tentatives de nouvelle connexion.

1. Récupérez votre clé API

   Connectez-vous sur shifter.io/panel et ouvrez Web Scraping API → API Keys. Copiez une clé active.

2. Récupérez une page

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. Activez le rendu JavaScript

   Ajoutez render_js=1 pour démarrer Chrome headless et récupérer le DOM entièrement rendu. Coûte le même prix qu’une requête statique.

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. Extrayez des données structurées

   Passez outre l’analyseur HTML. Transmettez extract_rules sous forme de JSON encodé en URL et récupérez du JSON en retour :

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

Astuce

Le plan Starter utilise des proxies datacenter, ce qui suffit pour la plupart des pages statiques. Passez à Growth ou à un plan supérieur pour router le trafic via des IP résidentielles et mobiles pour les sites qui font du fingerprinting du trafic.

Next

• Rendu JavaScript, attendez des sélecteurs, faites défiler, cliquez, prenez des captures d’écran.
• Règles d’extraction, sortie structurée sans analyse HTML.
• Sessions et proxies, conservez les cookies entre les requêtes.