Requête de base

L’appel le plus simple à l’API Web Scraping ne nécessite que deux paramètres : votre api_key et l’url cible. L’API renvoie le code HTML brut de la page, ainsi que quelques en-têtes de réponse personnalisés qui décrivent la requête.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Paramètres

Paramètre	Type	Obligatoire	Description
`api_key`	string	oui	Votre clé API Web Scraping
`url`	string	oui	URL cible à récupérer

En-têtes de réponse personnalisés

L’API ajoute quelques en-têtes de réponse préfixés par WSA- à chaque extraction réussie.

En-tête	Description
`WSA-Client-Cookies`	Cookies générés par JavaScript et définis après le chargement de la page cible.
`WSA-Scraped-Headers`	En-têtes de réponse renvoyés par l’URL extraite.
`WSA-Scraped-Resolved-Url`	URL finale après d’éventuelles redirections.
`WSA-Call-Credit-Usage`	Crédits consommés par cette requête.
`WSA-Current-Credit-Usage`	Votre utilisation totale de crédits après cette requête.

Exemple de requête

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://example.com",
})
print(r.text)

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://example.com',
});
const res = await fetch(url);
console.log(await res.text());

Exemple de réponse

<!doctype html>
<html>
<head>
  <title>Example Domain</title>
</head>
<body>
<div>
  <h1>Example Domain</h1>
  <p>This domain is for use in illustrative examples in documents.</p>
  <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>

Voir aussi

Requête API - référence complète des paramètres
Rendu JavaScript
Erreurs API

Commencer

Proxies

APIs

Ressources