Grundlegende Anfrage

Der einfachste Aufruf der Web Scraping API benötigt nur zwei Parameter: Ihren api_key und die Ziel-url. Die API antwortet mit dem rohen HTML der Seite sowie einigen benutzerdefinierten Antwort-Headern, die die Anfrage beschreiben.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Parameter

Parameter	Typ	Erforderlich	Beschreibung
`api_key`	string	ja	Ihr Web Scraping API-Schlüssel
`url`	string	ja	Ziel-URL, die abgerufen werden soll

Benutzerdefinierte Antwort-Header

Die API fügt jeder erfolgreichen Abfrage einige mit WSA- beginnende Antwort-Header hinzu.

Header	Beschreibung
`WSA-Client-Cookies`	Durch JavaScript generierte Cookies, die nach dem Laden der Zielseite gesetzt wurden.
`WSA-Scraped-Headers`	Antwort-Header, die von der abgefragten URL zurückgegeben wurden.
`WSA-Scraped-Resolved-Url`	Endgültige URL nach etwaigen Weiterleitungen.
`WSA-Call-Credit-Usage`	Für diese Anfrage verbrauchte Credits.
`WSA-Current-Credit-Usage`	Ihre gesamte Credit-Nutzung nach dieser Anfrage.

Beispielanfrage

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://example.com",
})
print(r.text)

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://example.com',
});
const res = await fetch(url);
console.log(await res.text());

Beispielantwort

<!doctype html>
<html>
<head>
  <title>Example Domain</title>
</head>
<body>
<div>
  <h1>Example Domain</h1>
  <p>This domain is for use in illustrative examples in documents.</p>
  <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>

Siehe auch

API-Anfrage - vollständige Parameterreferenz
JavaScript rendern
API-Fehler

Jetzt starten

Proxies

APIs

Ressourcen