Web Scraping API
发送一个 URL。 获取返回的数据。
用于网页抓取的托管 REST API。我们处理代理轮换、JavaScript 渲染、CAPTCHA 解析和重试,您只需处理数据。
{
"url": "▍",
"render": true,
"country": "us"
}受信赖于 50,000+ 全球客户
完整的 抓取技术栈
浏览器渲染、代理轮换与反机器人防护,统一通过单一REST端点提供。
JavaScript 渲染
真实的无头浏览器可渲染单页应用、动态内容和无限滚动,获取用户在 Chrome 中看到的相同 HTML。
覆盖 195+ 个国家的代理
住宅和 ISP(静态住宅)IP 覆盖 195+ 个国家,通过一个参数即可在国家级别进行地理定向请求。
自动重试与 CAPTCHA 解析
reCAPTCHA、hCaptcha 及机器人验证会被自动检测并绕过。失败的请求会在新 IP 上自动重试,您只需为成功的响应付费。
Headers、Cookies 与会话
通过 API 转发自定义 headers、cookies 和 POST 请求体。使用会话 ID 在多个请求间保持同一会话。
结构化 JSON 或原始 HTML
针对常见目标获取解析后的 JSON,或获取原始 HTML 自行提取数据。异步批量任务支持 Webhook 推送。
为大规模场景而生
每个套餐支持数百个并发请求,平均延迟低于一秒,正常运行时间 SLA 达 99.9%。无需管理基础设施,即可并行运行数千个任务。
一步 HTTP 请求 之遥
纯REST接口。发送URL即可获取数据,无需维护任何爬虫代码。
const params = new URLSearchParams({
api_key: process.env.SHIFTER_API_KEY,
url: "https://amazon.com/dp/B0CRMR6JKZ",
render_js: "1",
country: "us",
});
const res = await fetch(`https://scrape.shifter.io/v1?${params}`);
const data = await res.json();
console.log(data.title, data.price);专为 数据团队
工程师和分析师使用 Scraping API 驱动监控、研究和机器学习流水线,无需自行维护爬虫基础设施。
旅行票价聚合
从酒店、机票网站、在线旅行社及聚合平台采集价格数据。无需从零构建爬虫,即可突破反机器人防护。
价格与商品监控
跨电商平台追踪竞争对手定价、库存水平、商品描述及评价。利用实时数据自动化定价策略。
金融数据
抓取市场行情、经纪商报价及另类数据集。聚合多方来源,为投资决策和风险模型提供支撑。
房地产
从各地区房产平台采集房源信息、租金价格及市场趋势。利用结构化房产数据构建收购决策流程。
用户评价
从电商平台、应用商店及评价网站抓取商品评论和评分。以最新数据驱动情感分析模型。
HR 与招聘数据
监控招聘平台和企业招聘页面,掌握竞争对手的新职位发布、招聘规律及人才趋势。
简单, 透明 定价
基于积分的定价。每个套餐均包含 JS 渲染和 CAPTCHA 解决。并发数可从 20 扩展至 500+。
首家住宅代理服务商。
如今已跻身最大规模之列。
自2012年起,Shifter已发展成为一个全球代理网络,受到 超过 50,000 位客户的信赖,其中包括财富500强企业。从任意位置连接,无限制访问本地数据,同时完全保护隐私与安全。
常见问题
关于 Web Scraping API 的常见问题。没有找到您想要的答案?请联系我们的支持团队。
按点数计费,而非按请求次数计费。标准数据中心请求:1 点数。JavaScript 渲染数据中心请求:5 点数。标准住宅请求:10 点数。JavaScript 渲染住宅请求:25 点数。失败的请求不计费。
该 API 基于自动扩缩容的云基础设施构建,目前每天为各客户处理数千至数百万次请求。各套餐并发数从 20 扩展至 500 以上;如需更高请求量,请联系我们获取定制方案。
可以。设置 render=true 后,请求将在真实的无头浏览器中运行。单页应用、动态内容、懒加载区块和无限滚动均可处理。JavaScript 渲染会消耗更多积分,但能解锁纯 HTTP 爬虫无法访问的目标。
CAPTCHA(reCAPTCHA、hCaptcha 等)会在请求流程内自动检测并解决,无需第三方解决服务。遭遇封锁或频率限制时,系统会自动从住宅代理池中切换新 IP 并重试。
可以。在请求中传入 'country' 参数,即可通过该国家的 IP 进行路由。支持 195+ 个国家,住宅套餐还支持城市级定向。
官方 SDK 支持 Node.js、Python、Scrapy 和 Rust,均已发布在 GitHub 上。API 采用标准 REST 风格,任何 HTTP 客户端均可使用,SDK 额外提供重试、批量处理和 Webhook 处理等便捷功能。