Avançado

Cabeçalhos personalizados

Passe cabeçalhos como um objeto JSON codificado em URL via custom_headers:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com&custom_headers=%7B%22Authorization%22%3A%22Bearer%20abc123%22%7D"

Útil quando o alvo espera bearer tokens, X-Requested-With: XMLHttpRequest, ou preferências de localidade.

Cookies personalizados

Defina cookies embutidos via custom_cookies:

cookie_name=value; other_name=value2

Codificado em URL:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&custom_cookies=session_id%3Dabc%3B%20locale%3Den-US"

Para cookies em múltiplas requisições, prefira session_id, cookies definidos pelo servidor persistirão automaticamente.

POST e PUT

Troque o método com method. Passe o corpo como o corpo da requisição.

curl -X POST \
  "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com/users&method=POST" \
  -H "Content-Type: application/json" \
  -d '{"email":"user@example.com","plan":"pro"}'

PUT é idêntico com method=PUT.

Capturas de tela

Retorne um PNG de página inteira em vez de HTML:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&screenshot=1" \
  -o screenshot.png

Opções:

• screenshot_full_page=1, captura além da viewport.
• screenshot_selector=<css>, captura apenas um elemento.

Arquivos binários

Para PDFs, imagens ou qualquer resposta não textual, adicione binary_response=1. O scraper transmite a carga binária através de:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/file.pdf&binary_response=1" \
  -o file.pdf

Controles de furtividade

Alguns alvos sinalizam a impressão digital padrão do navegador. Você pode desativar o modo furtivo para depuração (não recomendado em produção):

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&disable_stealth=1&render_js=1"

Combinando flags

Todas as flags se combinam. Uma requisição do mundo real se parece com:

curl "https://scrape.shifter.io/v1?\
api_key=YOUR_API_KEY&\
url=https://shop.example.com/products/42&\
render_js=1&\
wait_for_css=.price&\
session_id=cart-001&\
premium_proxy=1&\
country=us&\
extract_rules=%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%7D"

Uma requisição bem-sucedida, um crédito.

Próximo

• Erros e limites, o que os códigos significam e como as repetições interagem com os créditos.
• FAQ, créditos, falhas, scripts personalizados.