Proxys

L’API Web Scraping achemine les requêtes via un pool de plusieurs millions d’adresses IP réparties sur plus de 195 géolocalisations. Choisissez le pool adapté à votre cible avec proxy_type.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

Paramètres

Parameter	Type	Required	Description
api_key	string	yes	Votre clé API Web Scraping
url	string	yes	URL cible à récupérer
proxy_type	string	no	datacenter (par défaut) ou residential.

Datacenter vs residential

Les proxies datacenter proviennent de fournisseurs cloud, et non de FAI. Ils sont rapides, économiques et anonymes, mais certaines cibles signalent d’emblée les plages datacenter. Le pool datacenter de Shifter est privé, ce qui limite le taux de blacklistage.

Les proxies residential sont de véritables IP attribuées par les FAI à des utilisateurs particuliers. Ils ressemblent à du trafic consommateur authentique et contournent la plupart des blocages basés sur l’IP, pour un coût par requête plus élevé.

Exemple de requête

Datacenter

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

Residential

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

Voir aussi

• Géolocalisation
• Sessions