API de Web Scraping
Um endpoint, todas as páginas. A scraping API cuida da rotação de proxies, Chrome headless, execução de JavaScript, resolução de CAPTCHA e novas tentativas automáticas.
Endpoint
Seção intitulada “Endpoint” GET https://scrape.shifter.io/v1
As variantes POST e PUT também são suportadas, veja POST requests e PUT requests.
Autenticação
Seção intitulada “Autenticação”Envie sua chave de API como o parâmetro de consulta api_key em todas as requisições. As chaves são gerenciadas no painel em Web Scraping API → API Keys.
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"Parâmetros principais
Seção intitulada “Parâmetros principais”| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
api_key | string | sim | Sua chave de API |
url | string | sim | A URL a ser buscada |
render_js | 0 | 1 | não | Ativa a renderização com Chrome headless |
premium_proxy | 0 | 1 | não | Roteia através de IPs residenciais (Growth+) |
mobile_proxy | 0 | 1 | não | Roteia através de IPs móveis (Growth+) |
country | código ISO | não | País para geolocalização do proxy |
device | desktop | mobile | tablet | não | Dispositivo simulado |
session_id | string | não | Reutiliza cookies e proxy entre requisições |
timeout | ms | não | Tempo máximo que o navegador pode gastar, até 60000 |
wait_for | ms | não | Espera de inatividade após a navegação (5000-10000 recomendado) |
wait_for_css | selector | não | Bloqueia até que o seletor CSS apareça |
wait_until | string | não | Condição de espera de navegação (avançado) |
keep_headers | 0 | 1 | não | Encaminha cabeçalhos personalizados para o destino |
custom_headers | JSON | não | Cabeçalhos de requisição personalizados (codificados em URL) |
custom_cookies | string | não | Valor do cabeçalho Cookie |
extract_rules | JSON | não | Seletores CSS para converter em JSON estruturado |
auto_parser | 0 | 1 | não | Analisa automaticamente respostas JSON |
screenshot | 0 | 1 | não | Retorna PNG em vez de HTML |
screenshot_options | JSON | não | Tamanho e seletor da captura de tela |
binary_response | 0 | 1 | não | Transmite payloads binários (PDFs, imagens) |
js_instructions | JSON | não | Executa scroll/click/wait antes da captura |
disable_stealth | 0 | 1 | não | Desativa o plugin stealth |
webhook | URL | não | Envia a resposta via POST para esta URL quando pronta |
forward_proxy | URL | não | Encadeia através do seu proxy upstream |
Todo parâmetro que espera JSON deve ser codificado em URL.
Exemplo rápido
Seção intitulada “Exemplo rápido”curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"Páginas do endpoint
Seção intitulada “Páginas do endpoint” Requisição básica Minimal GET with api_key and url.
Parâmetros completos Every parameter documented in detail.
Requisições POST Scrape URLs that require POST bodies.
Requisições PUT Scrape PUT endpoints.
Renderização de JavaScript render_js flag and limits.
Instruções de JavaScript Scroll, click, wait before capture.
Esperando por CSS wait_for_css selector syntax.
Forçando tempos limite Cap browser time with timeout.
Captura de tela Capture full-page or element PNG.
Sessões Hold cookies and IP across requests.
Arquivos binários Download PDFs, images, other binaries.
Cabeçalhos personalizados Forward headers to the target.
Cookies personalizados Inject cookies into the request.
Proxies Datacenter vs residential vs mobile.
Geolocalização country parameter and supported locations.
Regras de extração Return parsed JSON.
Analisador automático de JSON auto_parser for JSON endpoints.
Erros da API Status codes and retry semantics.