会话与代理
大多数抓取是一次性的。当你需要在多个请求之间保持 cookie 或定位到特定地理位置时,请使用会话和代理控制功能。
会话可在多个请求之间保持 cookie、浏览器状态以及上游代理 IP。传入你自己选择的任意字符串作为 session_id:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"第二个请求会复用第一个请求中的登录 cookie。会话在闲置最长 10 分钟后过期。
会话使用场景
Section titled “会话使用场景”- 登录一次,在同一会话中抓取需要身份验证的页面
- 遍历依赖服务器端游标的分页结果
- 在多次添加商品之间保持购物车处于打开状态
使用 country 请求来自特定国家的代理:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"取值为 ISO 3166-1 alpha-2 国家代码。在 Growth 及以上套餐中可在全球范围内使用;Starter 套餐仅限美国/欧盟地区。
| 参数 | 代理池 | 可用套餐 |
|---|---|---|
| 默认(不带参数) | 针对目标智能选择 | 所有套餐 |
premium_proxy=1 | 来自 205M+ 代理池的住宅 IP | Growth 及以上 |
mobile_proxy=1 | 移动运营商 IP | Growth 及以上 |
与 country 结合使用以实现精细控制:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"使用你自己的代理
Section titled “使用你自己的代理”通过 forward_proxy(需 URL 编码)将请求路由到你自己的上游代理:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"适用于某些目标需要你的企业代理的混合部署场景。