博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 3 分钟阅读
公共利益价格监测:收集经得起审查的证据
消费者团体、记者和合规团队如何监测价格以检验折扣宣称,以及如何收集零售商无法反驳的证据。
知识
知识 1 分钟阅读
法务团队在批准抓取项目前会问的问题
法务和合规团队在批准网络数据采集前会问哪些问题、为什么会问这些问题,以及一个好的答案应该是什么样的。
知识
知识 3 分钟阅读
审核本地目录中的NAP一致性
企业在多个目录中列出过时的电话号码或地址会让客户和搜索引擎感到困惑。如何审核NAP数据并修复重要问题。
住宅代理
住宅代理 4 分钟阅读
当你不需要住宅代理时
我们通过数据中心IP和住宅出口分别抓取了30个公开网站。超过一半的网站根本不需要代理。如何判断你面对的是哪种网站。
数据抓取
数据抓取 4 分钟阅读
测试爬虫:Fixtures、重放与回归套件
网站一变化,爬虫就会失效,而直接访问真实网站的测试也会随之失效。如何用录制的 fixtures、重放和每日金丝雀测试来测试爬虫。
数据抓取
数据抓取 4 分钟阅读
你的爬虫很慢,而问题可能不在代理
我们在不改动代理的情况下,将一个通过住宅代理运行的爬虫速度提升了7.5倍。如何找到时间真正耗费在哪里,并加以解决。
数据抓取
数据抓取 4 分钟阅读
有效载荷效率:抓取的页面中有多少是你花钱买的样板内容
我们测量了来自前1000个网站的278个内容页面。你想要的文本大约占HTML的1%,只是浏览器下载内容中极小的一部分。
新闻
新闻 1 分钟阅读
推出 Shifter 免费网页代理,基于住宅 IP 构建
Shifter Web Proxy 是免费的:无需注册、无广告、无需安装,即可通过 54 个国家中任意一个国家的真实住宅 IP 打开任何网站。
知识
知识 4 分钟阅读
在线价格究竟变化有多快?一项波动性研究
已发布的研究揭示了从零售商网站到市场Buy Box,在线价格变化的实际频率,以及这对监控频率意味着什么。