Benutzerdefinierte Header

Fügen Sie der ausgehenden Scrape-Anfrage einen beliebigen Header hinzu, indem Sie ihn mit dem Präfix Wsa- senden. Die API entfernt das Präfix und leitet den Header an die Zielseite weiter.

Hinweis

Verwenden Sie benutzerdefinierte Header nur für maßgeschneiderte Ergebnisse. Die API behandelt die Umgehung von Blockierungen bereits automatisch, sodass Sie keine User Agents fälschen müssen, um Blockierungen zu vermeiden.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>

Parameter

Parameter	Typ	Erforderlich	Beschreibung
api_key	string	ja	Ihr Web Scraping API-Schlüssel
url	string	ja	Ziel-URL, die abgerufen werden soll
Wsa-* (header)	string	nein	Jeder mit Wsa- vorangestellte Header wird ohne das Präfix an das Ziel weitergeleitet.

Beispielanfrage

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=http%3A%2F%2Fhttpbin.org%2Fheaders" \
  -H "Wsa-My-header: test" \
  -H "Wsa-User-Agent: potato"

Python

import requests

r = requests.get(
    "https://scrape.shifter.io/v1",
    params={"api_key": "YOUR_API_KEY", "url": "http://httpbin.org/headers"},
    headers={"Wsa-My-header": "test", "Wsa-User-Agent": "potato"},
)
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'http://httpbin.org/headers',
});
const res = await fetch(url, {
  headers: {
    'Wsa-My-header': 'test',
    'Wsa-User-Agent': 'potato',
  },
});
console.log(await res.json());

Beispielantwort

{
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Host": "httpbin.org",
    "My-Header": "test",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "potato"
  }
}

Siehe auch

• Benutzerdefinierte Cookies
• API-Anfrage