博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 3 分钟阅读
跨地区规范化价格、数字和日期
1.234,56 € 和 $1,234.56 都是价格,而 03/04/2026 是两个不同的日期。如何根据地区正确解析抓取到的数值,并附有经过测试的代码。
James Meadow · 2026年9月30日 数据抓取
数据抓取 3 分钟阅读
找到页面背后的API：从JSON端点收集数据而非HTML
许多页面以JSON形式加载数据。如何找到承载数据的端点，为何它通常与页面的会话绑定，以及如何负责任地收集它。
Chris Collins · 2026年9月30日 新闻
新闻 2 分钟阅读
推出 IP Info:一款免费的 IP 地理定位 API,无需 API 密钥
IP Info 是 Shifter 推出的免费 IP 地理定位和 ASN API。它运行在支撑我们代理池的同一数据库之上,无需注册或 API 密钥,并已为 AI 代理做好准备。
James Meadow · 2026年9月29日 知识
知识 3 分钟阅读
抓取数据中的模式漂移:在用户发现之前捕获失效的提取器
网站发生变化时,抓取器很少会崩溃。它们会继续运行,并返回细微错误的数据。数据契约和批量画像分析如何及早发现漂移。
Matt Brown · 2026年9月29日 数据抓取
数据抓取 3 分钟阅读
站点地图作为发现来源:无需爬取整站即可找到每个URL
XML站点地图列出了网站的URL,有时还包括它们的更改时间。如何正确读取它们,以及为什么不应在未加以核实的情况下信任lastmod。
James Meadow · 2026年9月29日 数据抓取
数据抓取 3 分钟阅读
LLM提取与选择器对比:何时该让模型来读取页面
我们让一个大语言模型从18个实时新闻页面中提取字段,并将结果与页面自身的结构化数据进行对比评分。准确性、成本,以及何时该使用它。
Chris Collins · 2026年9月28日 知识
知识 3 分钟阅读
去重抓取数据:产品、公司和列表的实体解析
同一产品、公司或列表在不同来源和不同抓取批次中多次出现。如何规范化标识符,大规模安全匹配,并保留一条干净的记录。
Matt Brown · 2026年9月28日 知识
知识 2 分钟阅读
每条干净记录的成本：财务真正能理解的抓取指标
GB数和请求次数无法告诉财务数据的真实成本。如何衡量每条干净记录及每次有效变更的成本，以及哪些杠杆对其影响最大。
James Meadow · 2026年9月27日