博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
数据抓取
数据抓取 3 分钟阅读
LLM提取与选择器对比:何时该让模型来读取页面
我们让一个大语言模型从18个实时新闻页面中提取字段,并将结果与页面自身的结构化数据进行对比评分。准确性、成本,以及何时该使用它。
Chris Collins · 2026年9月28日 数据抓取
数据抓取 2 分钟阅读
大规模变化检测：在不被噪声淹没的情况下对比网页差异
网页每次加载都会变化：广告、时间戳、令牌。如何通过归一化、字段级差异对比和 simhash 从噪声中辨别真实变化，附经过测试的代码。
Chris Collins · 2026年9月27日 数据抓取
数据抓取 4 分钟阅读
停止解析HTML：从JSON-LD和嵌入数据中提取结构化数据
大多数页面已经携带机器可读的数据。如何提取JSON-LD和嵌入式JSON，而不是使用脆弱的选择器，以及当数据不完整时该怎么做。
Matt Brown · 2026年9月26日 数据抓取
数据抓取 2 分钟阅读
构建目标健康评分:识别网站正在针对你
网站很少一步就封锁爬虫,而是先进行验证、软封锁和降速。如何将这些信号转化为每个网站的单一评分,并据此采取行动。
Matt Brown · 2026年9月22日 数据抓取
数据抓取 2 分钟阅读
成本感知的抓取调度:把预算花在会变化的地方
大部分重新抓取的预算都花在确认内容没有变化上。如何按每单位成本的预期价值来安排抓取顺序,以及为什么变化最快的页面并非最佳选择。
James Meadow · 2026年9月22日 数据抓取
数据抓取 2 分钟阅读
分布式爬虫中的背压与流量控制
爬虫本质上是一条流水线,速度最快的环节会淹没最慢的环节。有界队列、拉取式任务分发和自适应的每主机限速如何让爬虫保持稳定。
Chris Collins · 2026年9月22日 数据抓取
数据抓取 4 分钟阅读
在CI/CD中运行爬虫:代理凭证、密钥与测试运行
如何在CI中运行爬虫,同时不泄露代理凭证、不在每次推送时消耗大量带宽:密钥存储、测试分层、会话管理、配额检查与轮换。
Chris Collins · 2026年9月21日 数据抓取
数据抓取 1 分钟阅读
如何在多个网站上监控雇主评价和评分
雇主评价影响求职者的申请意愿。如何在各评价网站上监控评分和主题、对标竞争对手,并遵守各网站的规则。
James Meadow · 2026年9月19日 数据抓取
数据抓取 1 分钟阅读
如何从开放网络构建大规模训练数据集
收集页面只是简单的部分。如何将开放网络爬取内容转化为训练语料库：抓取前沿、退出选择、内容提取、过滤、去重与去污染。
Matt Brown · 2026年9月18日