独立 IP 数量超过地球上任何一家代理网络,背靠全球最大的住宅 IP 池。这就是 Shifter。独立 IP 数量超过任何一家代理网络,背靠全球最大的 IP 池。这就是 Shifter。

查看具体数据

当 200 也是失败:超越状态码的代理成功率

为什么基于 HTTP 状态码计算的代理成功率会夸大实际效果,如何依据书面通过规则判定每一个响应,以及为什么挑战率才是最值得关注的指标。

Chris Collins 工程 · 更新于2026年11月1日 · 6分钟阅读
200200验证码200200200200200200空200200登录200200200200验证码200
每个方块都返回了 200。琥珀色方块中没有真实页面。
性能
本页内容
  1. 为什么状态码会说谎
  2. 四种结果,一种成功
  3. 编写通过规则
  4. 挑战率:状态码隐藏的数字
  5. 公平地统计
  6. 自己动手
  7. 常见问题

向代理服务商询问成功率,您通常会得到一个非常高的数字。再问这个数字是怎么统计的,答案往往是“返回了响应的请求”,或者“返回了 HTTP 200 的请求”。这两种说法都无法说明您是否拿到了数据。

无论您使用哪种住宅代理,真正有用的成功定义都更窄:响应中包含您所请求的内容。本指南说明为什么状态码会高估成功率,如何用通过规则取代状态码,以及如何如实统计结果。本文侧重于测量。如需了解如何在爬虫内部识别被污染或伪造的内容,请参阅我们的文章检测抓取时被拦截或伪造的内容。

为什么状态码会说谎

HTTP 状态码描述的是您的客户端与服务器之间的通信过程,并不说明服务器是否给了您那个页面。设防的网站完全有理由对可疑请求客客气气地作答:

  • 挑战页面。 CAPTCHA 或 JavaScript 过渡页以 200 返回,因为网站希望浏览器把它渲染出来。
  • 软拦截。 搜索结果为零的页面、价格被移除的商品页,或者“出错了”的模板页,全部以 200 返回。
  • 同意与重定向页面。 Cookie 提示墙或地区落地页,取代了您请求的内容。
  • 内容错误。 页面所属国家与您指定的目标国家不符,解析起来毫无问题,内容却是错的。

以上每一种都会按流量计费,在以状态码为准的仪表盘上又都算作成功。这就是为什么按状态码统计的成功率接近完美,而可用页面的占比却低得多。

四种结果,一种成功

更诚实的做法是 Atlas 方法论所采用的方案,把每个请求归入四种结果之一:

  1. 通过。 响应满足了针对该目标写明的条件:元素解析成功、JSON 结构符合预期,或者令牌已签发。这是唯一的成功。
  2. 挑战。 返回的是 CAPTCHA 或过渡页而不是目标页面,通常以 200 返回。
  3. 拦截。 目标直接拒绝:403、429、拦截页,或者在返回任何内容之前连接被重置。
  4. 超时。 在该目标的时间预算内没有得到可用响应,包括代理网关自身抛出的错误。

这样拆分失败很重要,因为每一种都指向不同的原因。拦截和挑战主要反映目标网站如何看待出口地址,超时主要反映网络状况。单一的失败计数会掩盖您遇到的究竟是哪种问题。

编写通过规则

通过规则是一项检查,代码无需人工查看就能对响应运行它。它列出证明页面确为真实页面的证据。好的规则都针对具体目标:

  • 商品页: 价格和库存标记存在且可解析。
  • 搜索结果页: 至少有设定数量的自然结果区块可解析。
  • JSON 接口: 响应是有效的 JSON,并包含预期的数组,而不是错误对象。
  • 队列或会话: 已签发令牌。
  • 静态页面: 页面主体未被修改地送达,例如与已知的哈希值或长度相符。

规则要足够严格,使挑战页面不可能意外通过;也要足够宽松,使正常的版面改动不会让每个请求都失败。请检查您所需的数据是否存在,而不是检查页面中是否缺少“captcha”一词,因为新的挑战服务商并不会包含这个词。

请在测试之前写好规则。看过结果之后再选定的规则,往往会被调成让某一家服务商看起来更好。

挑战率:状态码隐藏的数字

在三种失败类型中,挑战率值得在任何报告里单独列一行。它是被 CAPTCHA 或过渡页应答的请求所占的比例,其表现与拦截不同。

网站往往会逐步升级措施:先对某个地址发起挑战,然后再封锁它。挑战率上升,常常是代理池被使用过度或目标收紧防御的最早信号,比硬拦截上升早好几天。由于挑战以 200 返回,在这期间以状态码为准的仪表盘不会显示任何异常。

挑战还会花钱。挑战页是带有标头、标记和脚本的完整响应,所以在按 GB 计费的套餐中,您要像为真实页面一样为它付费。Atlas 的真实成本页面展示了把失败请求计入价格之后,这部分会增加多少成本。

公平地统计

通过规则确定了分子,分母也需要同样的审慎:

  • 统计每一次尝试。 如果您的客户端会重试,每次重试都算一个请求。在重试之后测得的成功率,描述的是您的重试逻辑,而不是网络。
  • 保留超时和网关错误。 剔除“从未到达网站”的请求,恰恰剔除了应由网络负责的那部分失败。
  • 均衡对待各个时段。 繁忙时段不应淹没清闲时段,美好的下午也不应掩盖糟糕的夜晚。
  • 按目标报告。 对未设防页面和设防页面求平均,两者都描述不了。
  • 公布分母。 没有请求数量的比率无法判断。

自己动手

以下是在您自己的业务上测量代理成功率的最简方案:

  1. 列出您实际为之购买代理的目标。
  2. 在发送请求之前,为每个目标写好一条通过规则。
  3. 记录每个请求的状态、通过规则的判定结果、耗时,以及目标网站看到的出口地址。
  4. 把每次失败归类为挑战、拦截或超时。
  5. 按目标分别报告成功率、挑战率、拦截率和超时,并附上数量。
  6. 持续关注挑战率随时间的变化,并针对它而不是状态码设置告警。

有了这些数字之后,关于告警方面的内容,请参阅我们的文章监控网页抓取流水线。

Atlas 以同样的方式评判它发出的每个请求,为每个目标写明通过规则,并在目标页面上公布每个目标的结果,因此一个网络的成功率始终表示送达真实页面的请求所占的比例。

常见问题

为什么 HTTP 200 状态码不一定代表代理请求成功?

200 只说明服务器返回了响应,并不说明响应包含你所请求的内容。该页面可能是 CAPTCHA、拒绝访问提示、不完整的数据,或重定向后的错误页面。要衡量成功率,请对照任务需求检查响应。

应如何准确衡量代理成功率?

依据每个请求是否交付了预期结果,而不是状态码。为目标编写一条通过规则,检查返回的内容,并把超时、被拦截和不完整的响应都算作失败。对每个供应商应用同一条规则,这样比较才有意义。

CAPTCHA 验证是否算作代理请求失败?

如果目标是获取页面或数据,那么是的:出现验证挑战就意味着内容没有送达。请在测试前确定你的通过标准,并每次都以同样方式应用,否则成功率会高估你实际收到的内容。

如何识别返回 HTTP 200 的被拦截或无法使用的响应?

检查响应正文中是否有你预期的页面元素和数据字段,以及拒绝访问消息、CAPTCHA 标记或意外内容。必要时,将页面结构与已知的正常响应进行比较。一致的检查可以把真实结果与只是看起来成功的响应区分开来。

立即开始

只统计那些 携带您所需数据的响应

在 Shifter 的住宅网络上开始免费试用,为您自己的目标站点设置通过规则,看看有多少请求真正返回了您要的页面。

3 天退款保证。随时可取消。