Solicitação básica

A chamada mais simples da Web Scraping API exige apenas dois parâmetros: seu api_key e a url de destino. A API responde com o HTML bruto da página, além de alguns cabeçalhos de resposta personalizados que descrevem a requisição.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Parâmetros

Parâmetro	Tipo	Obrigatório	Descrição
`api_key`	string	sim	Sua chave da Web Scraping API
`url`	string	sim	URL de destino a ser buscada

Cabeçalhos de resposta personalizados

A API adiciona alguns cabeçalhos de resposta com o prefixo WSA- a cada scrape bem-sucedido.

Cabeçalho	Descrição
`WSA-Client-Cookies`	Cookies gerados por JavaScript definidos após o carregamento da página de destino.
`WSA-Scraped-Headers`	Cabeçalhos de resposta retornados pela URL raspada.
`WSA-Scraped-Resolved-Url`	URL final após quaisquer redirecionamentos.
`WSA-Call-Credit-Usage`	Créditos consumidos por esta requisição.
`WSA-Current-Credit-Usage`	Seu uso total de créditos após esta requisição.

Exemplo de requisição

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://example.com",
})
print(r.text)

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://example.com',
});
const res = await fetch(url);
console.log(await res.text());

Exemplo de resposta

<!doctype html>
<html>
<head>
  <title>Example Domain</title>
</head>
<body>
<div>
  <h1>Example Domain</h1>
  <p>This domain is for use in illustrative examples in documents.</p>
  <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>

Veja também

Requisição da API - referência completa de parâmetros
Renderização de JavaScript
Erros da API

Começar

Proxies

APIs

Recursos