向代理服务商询问成功率,您通常会得到一个非常高的数字。再问这个数字是怎么统计的,答案往往是“返回了响应的请求”,或者“返回了 HTTP 200 的请求”。这两种说法都无法说明您是否拿到了数据。
无论您使用哪种住宅代理,真正有用的成功定义都更窄:响应中包含您所请求的内容。本指南说明为什么状态码会高估成功率,如何用通过规则取代状态码,以及如何如实统计结果。本文侧重于测量。如需了解如何在爬虫内部识别被污染或伪造的内容,请参阅我们的文章检测抓取时被拦截或伪造的内容。
为什么状态码会说谎
HTTP 状态码描述的是您的客户端与服务器之间的通信过程,并不说明服务器是否给了您那个页面。设防的网站完全有理由对可疑请求客客气气地作答:
- 挑战页面。 CAPTCHA 或 JavaScript 过渡页以 200 返回,因为网站希望浏览器把它渲染出来。
- 软拦截。 搜索结果为零的页面、价格被移除的商品页,或者“出错了”的模板页,全部以 200 返回。
- 同意与重定向页面。 Cookie 提示墙或地区落地页,取代了您请求的内容。
- 内容错误。 页面所属国家与您指定的目标国家不符,解析起来毫无问题,内容却是错的。
以上每一种都会按流量计费,在以状态码为准的仪表盘上又都算作成功。这就是为什么按状态码统计的成功率接近完美,而可用页面的占比却低得多。
四种结果,一种成功
更诚实的做法是 Atlas 方法论所采用的方案,把每个请求归入四种结果之一:
- 通过。 响应满足了针对该目标写明的条件:元素解析成功、JSON 结构符合预期,或者令牌已签发。这是唯一的成功。
- 挑战。 返回的是 CAPTCHA 或过渡页而不是目标页面,通常以 200 返回。
- 拦截。 目标直接拒绝:403、429、拦截页,或者在返回任何内容之前连接被重置。
- 超时。 在该目标的时间预算内没有得到可用响应,包括代理网关自身抛出的错误。
这样拆分失败很重要,因为每一种都指向不同的原因。拦截和挑战主要反映目标网站如何看待出口地址,超时主要反映网络状况。单一的失败计数会掩盖您遇到的究竟是哪种问题。
编写通过规则
通过规则是一项检查,代码无需人工查看就能对响应运行它。它列出证明页面确为真实页面的证据。好的规则都针对具体目标:
- 商品页: 价格和库存标记存在且可解析。
- 搜索结果页: 至少有设定数量的自然结果区块可解析。
- JSON 接口: 响应是有效的 JSON,并包含预期的数组,而不是错误对象。
- 队列或会话: 已签发令牌。
- 静态页面: 页面主体未被修改地送达,例如与已知的哈希值或长度相符。
规则要足够严格,使挑战页面不可能意外通过;也要足够宽松,使正常的版面改动不会让每个请求都失败。请检查您所需的数据是否存在,而不是检查页面中是否缺少“captcha”一词,因为新的挑战服务商并不会包含这个词。
请在测试之前写好规则。看过结果之后再选定的规则,往往会被调成让某一家服务商看起来更好。
挑战率:状态码隐藏的数字
在三种失败类型中,挑战率值得在任何报告里单独列一行。它是被 CAPTCHA 或过渡页应答的请求所占的比例,其表现与拦截不同。
网站往往会逐步升级措施:先对某个地址发起挑战,然后再封锁它。挑战率上升,常常是代理池被使用过度或目标收紧防御的最早信号,比硬拦截上升早好几天。由于挑战以 200 返回,在这期间以状态码为准的仪表盘不会显示任何异常。
挑战还会花钱。挑战页是带有标头、标记和脚本的完整响应,所以在按 GB 计费的套餐中,您要像为真实页面一样为它付费。Atlas 的真实成本页面展示了把失败请求计入价格之后,这部分会增加多少成本。
公平地统计
通过规则确定了分子,分母也需要同样的审慎:
- 统计每一次尝试。 如果您的客户端会重试,每次重试都算一个请求。在重试之后测得的成功率,描述的是您的重试逻辑,而不是网络。
- 保留超时和网关错误。 剔除“从未到达网站”的请求,恰恰剔除了应由网络负责的那部分失败。
- 均衡对待各个时段。 繁忙时段不应淹没清闲时段,美好的下午也不应掩盖糟糕的夜晚。
- 按目标报告。 对未设防页面和设防页面求平均,两者都描述不了。
- 公布分母。 没有请求数量的比率无法判断。
自己动手
以下是在您自己的业务上测量代理成功率的最简方案:
- 列出您实际为之购买代理的目标。
- 在发送请求之前,为每个目标写好一条通过规则。
- 记录每个请求的状态、通过规则的判定结果、耗时,以及目标网站看到的出口地址。
- 把每次失败归类为挑战、拦截或超时。
- 按目标分别报告成功率、挑战率、拦截率和超时,并附上数量。
- 持续关注挑战率随时间的变化,并针对它而不是状态码设置告警。
有了这些数字之后,关于告警方面的内容,请参阅我们的文章监控网页抓取流水线。
Atlas 以同样的方式评判它发出的每个请求,为每个目标写明通过规则,并在目标页面上公布每个目标的结果,因此一个网络的成功率始终表示送达真实页面的请求所占的比例。