快速入门

只需向 scrape.shifter.io/v1 发送一次请求,Shifter 就会为您处理代理轮换、无头 Chrome 以及重试。

1. 获取您的 API 密钥

   登录 shifter.io/panel,打开 Web Scraping API → API Keys。复制一个有效的密钥。

2. 抓取页面

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. 开启 JavaScript 渲染

   添加 render_js=1 即可启动无头 Chrome 并返回完全渲染后的 DOM。费用与静态抓取相同。

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. 提取结构化数据

   跳过 HTML 解析器。将 extract_rules 以 URL 编码的 JSON 形式传入,即可获得 JSON 返回结果:

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

Tip

Starter 套餐使用数据中心代理,对大多数静态页面而言已经足够。如果目标网站会对流量进行指纹识别,可升级到 Growth 或更高套餐,通过住宅和移动 IP 进行路由。

Next

• 渲染 JavaScript,等待选择器、滚动、点击、截图。
• 提取规则,无需 HTML 解析即可获得结构化输出。
• 会话与代理,在多次请求间保持 cookie。