Sessões e proxies
A maioria dos scrapes é single-shot. Quando você precisa manter cookies entre requisições ou direcionar uma geografia específica, use sessões e controles de proxy.
Sessões
Seção intitulada “Sessões”Uma sessão mantém cookies, estado do navegador e o IP do proxy upstream entre múltiplas requisições. Passe session_id com qualquer string de sua escolha:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"A segunda requisição reutiliza os cookies de login da primeira. As sessões duram até 10 minutos de tempo ocioso antes de expirarem.
Casos de uso de sessão
Seção intitulada “Casos de uso de sessão”- Fazer login uma vez e fazer scrape de páginas autenticadas na mesma sessão
- Percorrer resultados paginados que dependem de cursores do lado do servidor
- Manter um carrinho de compras aberto entre adições de itens
Geolocalização
Seção intitulada “Geolocalização”Solicite um proxy de um país específico com country:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"Os valores são códigos de país ISO 3166-1 alpha-2. Disponível globalmente nos planos Growth e superiores; o Starter é apenas US/EU.
Pools de proxy
Seção intitulada “Pools de proxy”| Parâmetro | Pool | Disponível em |
|---|---|---|
| padrão (sem flag) | Selecionado de forma inteligente para o alvo | Todos os planos |
premium_proxy=1 | IPs residenciais do pool com mais de 205M | Growth e superiores |
mobile_proxy=1 | IPs de operadoras móveis | Growth e superiores |
Combine com country para controle refinado:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"Usando seu próprio proxy
Seção intitulada “Usando seu próprio proxy”Direcione a requisição através do seu próprio proxy upstream com forward_proxy (codificado em URL):
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"Útil para configurações híbridas em que alguns alvos exigem seu proxy corporativo.
Próximo
Seção intitulada “Próximo”- Avançado, cabeçalhos personalizados, cookies, POST, binário.
- Erros e limites, limites de concorrência, códigos de erro.