Início Rápido

Faça uma única requisição para scrape.shifter.io/v1 e veja o Shifter cuidar da rotação de proxies, do Chrome headless e das tentativas de repetição para você.

1. Obtenha sua chave de API

   Faça login em shifter.io/panel e abra Web Scraping API → API Keys. Copie uma chave ativa.

2. Busque uma página

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. Ative a renderização de JavaScript

   Adicione render_js=1 para inicializar o Chrome headless e retornar o DOM totalmente renderizado. Custa o mesmo que uma busca estática.

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. Extraia dados estruturados

   Pule o analisador de HTML. Passe extract_rules como JSON codificado em URL e receba JSON de volta:

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

Dica

O plano Starter usa proxies de datacenter, suficiente para a maioria das páginas estáticas. Faça upgrade para o Growth ou superior para rotear o tráfego por IPs residenciais e móveis em sites que fazem fingerprint do tráfego.

Next

• Renderização de JavaScript, aguarde seletores, role a página, clique, tire screenshot.
• Regras de extração, saída estruturada sem análise de HTML.
• Sessões e proxies, mantenha cookies entre requisições.