Avancé

En-têtes personnalisés

Transmettez les en-têtes sous forme d’objet JSON encodé en URL via custom_headers :

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com&custom_headers=%7B%22Authorization%22%3A%22Bearer%20abc123%22%7D"

Utile lorsque la cible attend des jetons bearer, X-Requested-With: XMLHttpRequest, ou des préférences de langue.

Cookies personnalisés

Définissez des cookies en ligne via custom_cookies :

cookie_name=value; other_name=value2

Encodé en URL :

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&custom_cookies=session_id%3Dabc%3B%20locale%3Den-US"

Pour les cookies sur plusieurs requêtes, privilégiez session_id, les cookies définis par le serveur persisteront automatiquement.

POST et PUT

Changez de méthode avec method. Transmettez le corps en tant que corps de la requête.

curl -X POST \
  "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com/users&method=POST" \
  -H "Content-Type: application/json" \
  -d '{"email":"user@example.com","plan":"pro"}'

PUT fonctionne à l’identique avec method=PUT.

Captures d’écran

Renvoie un PNG de la page entière au lieu du HTML :

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&screenshot=1" \
  -o screenshot.png

Options :

• screenshot_full_page=1, capture au-delà de la fenêtre d’affichage.
• screenshot_selector=<css>, capture uniquement un élément.

Fichiers binaires

Pour les PDF, images, ou toute réponse non textuelle, ajoutez binary_response=1. Le scraper transmet la charge utile binaire via :

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/file.pdf&binary_response=1" \
  -o file.pdf

Contrôles de furtivité

Certaines cibles signalent l’empreinte de navigateur par défaut. Vous pouvez désactiver le mode furtif pour le débogage (non recommandé en production) :

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&disable_stealth=1&render_js=1"

Combinaison des indicateurs

Tous les indicateurs se combinent. Une requête réelle ressemble à ceci :

curl "https://scrape.shifter.io/v1?\
api_key=YOUR_API_KEY&\
url=https://shop.example.com/products/42&\
render_js=1&\
wait_for_css=.price&\
session_id=cart-001&\
premium_proxy=1&\
country=us&\
extract_rules=%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%7D"

Une requête réussie, un crédit.

Suite

• Erreurs et limites, la signification des codes et l’interaction des tentatives avec les crédits.
• FAQ, crédits, échecs, scripts personnalisés.