Proxies

A Web Scraping API executa requisições através de um pool de milhões de endereços IP em mais de 195 geolocalizações. Escolha o pool certo para o seu alvo com proxy_type.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

Parâmetros

Parâmetro	Tipo	Obrigatório	Descrição
api_key	string	sim	Sua chave da Web Scraping API
url	string	sim	URL de destino a ser buscada
proxy_type	string	não	datacenter (padrão) ou residential.

Datacenter vs residencial

Proxies de datacenter vêm de provedores de nuvem, não de ISPs. São rápidos, baratos e anônimos, mas alguns alvos já sinalizam previamente faixas de datacenter. O pool de datacenter da Shifter é privado, mantendo baixa a taxa de blacklisting.

Proxies residenciais são IPs reais atribuídos por ISPs a usuários domésticos. Eles se parecem com tráfego genuíno de consumidor e contornam a maioria dos bloqueios baseados em IP, a um custo mais alto por requisição.

Exemplo de requisição

Datacenter

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

Residencial

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

Veja também

• Geolocalização
• Sessões