代理

Web Scraping API 通过覆盖 195 多个地理位置、数以百万计的 IP 地址池来运行请求。使用 proxy_type 为你的目标选择合适的池。

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

参数

参数	类型	是否必填	说明
api_key	string	是	你的 Web Scraping API 密钥
url	string	是	要抓取的目标 URL
proxy_type	string	否	datacenter（默认）或 residential。

数据中心代理与住宅代理

数据中心代理来自云服务商，而非 ISP。它们速度快、价格低且匿名性好，但部分目标会预先标记数据中心 IP 段。Shifter 的数据中心代理池是私有的，因此被列入黑名单的概率较低。

住宅代理是 ISP 分配给家庭用户的真实 IP。它们看起来像真实的消费者流量，能够绕过大多数基于 IP 的封锁，但每次请求的成本更高。

请求示例

数据中心

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

住宅

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

另请参阅

• 地理位置
• 会话