基本请求
最简单的 Web Scraping API 调用只需要两个参数：您的 api_key 和目标 url。API 会返回该页面的原始 HTML，并附带一些描述该请求的自定义响应头。
Endpoint
Section titled “Endpoint” GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>
| 参数 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
api_key | string | 是 | 您的 Web Scraping API 密钥 |
url | string | 是 | 要抓取的目标 URL |
自定义响应头
Section titled “自定义响应头”API 会在每次成功抓取时添加一些以 WSA- 为前缀的响应头。
| 请求头 | 说明 |
|---|---|
WSA-Client-Cookies | 目标页面加载完成后由 JavaScript 生成的 cookies。 |
WSA-Scraped-Headers | 被抓取的 URL 返回的响应头。 |
WSA-Scraped-Resolved-Url | 经过任何重定向后的最终 URL。 |
WSA-Call-Credit-Usage | 本次请求消耗的额度。 |
WSA-Current-Credit-Usage | 本次请求后您的总额度使用量。 |
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"import requests
r = requests.get("https://scrape.shifter.io/v1", params={ "api_key": "YOUR_API_KEY", "url": "https://example.com",})print(r.text)import fetch from 'node-fetch';
const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({ api_key: 'YOUR_API_KEY', url: 'https://example.com',});const res = await fetch(url);console.log(await res.text());<!doctype html><html><head> <title>Example Domain</title></head><body><div> <h1>Example Domain</h1> <p>This domain is for use in illustrative examples in documents.</p> <p><a href="https://www.iana.org/domains/example">More information...</a></p></div></body></html>- API 请求 - 完整参数参考
- 渲染 JavaScript
- API 错误