每家代理服务商都有自己的速度宣称。有的给出响应时间,有的给出“ping”,有的干脆只说“最快”。这些数字很少是严格意义上的错误。它们是用最有利的方式测出来的,然后被拿去和用别的方式测出的数字比较。
如果您选择住宅代理时部分看重速度,真正有用的本事不是找出最小的数字,而是弄清每个数字测的是什么,从而判断哪些数字描述的是您的代码实际会发出的请求。
代理 ping 测的是什么
“代理 ping”通常指两种情况之一:对服务商网关的 ICMP ping,或者与网关建立连接所需的时间。两者测的都是您与服务商入口服务器之间的距离,都没有触及让住宅代理变慢的那一段路程。
一个住宅代理请求的路径是:从您的客户端到网关,从网关到使用家庭或移动网络的消费者设备,从该设备到目标站点,再沿原路返回。网关通常位于离您较近、网络连通性良好的数据中心。出口则是某人家里宽带或 Wi-Fi 上的设备,可能在另一个大洲。到网关的 ping 低当然是好事,但它只占您等待时间中最小的一部分。
因此,ping 很适合用来诊断“我到服务商的连接是否正常”,却不能很好地回答“哪家服务商最快”。
识破速度宣称的五个问题
当您看到服务商、评测或基准测试给出的速度数字时,请问:
- 测到哪个时间点? 是连接时间、首字节还是末字节。您的代码等待的是末字节。
- 用的是哪个百分位? 平均值或中位数会掩盖慢速的长尾。延迟图表阅读指南解释了为什么 p99 往往更重要。
- 在什么负载下? 空闲账户上的十个请求,与一千个并发请求,结果完全不同。
- 从哪里到哪里? 测试起点、出口国家和目标站点都会影响结果。某一个国家的数字,很难说明另一个国家的情况。
- 失败的请求怎么处理了? 如果在求平均之前先剔除了被拦截和超时的请求,这个数字描述的就只是那些顺利完成的请求。
回答不了这些问题的宣称,只是营销数字。这并不意味着它是假的,而是意味着它无法用来比较。
快速被拦截仍然是失败
看起来很快的最常见方式,就是快速失败。目标站点用 403 拒绝请求,或者返回 CAPTCHA,比渲染完整页面做的工作少,所以拒绝往往回来得更早。满是被标记地址的代理池,正因为这个原因可以报出漂亮的响应时间。
这就是速度必须与成功率放在一起才有意义的原因。Atlas 对每个目标按 80% 成功率和 20% 负载下速度打分,且各自与领先者比较,因此网络无法靠“被拒绝得很快”来爬升排名。同样的原则也适用于您自己的测试:读耗时那一列时,旁边一定要有成功率那一列。关于缓慢和失败的请求会对账单造成什么影响,请参阅每次成功请求的成本。
Atlas 如何给速度打分
Atlas 在评分中只发布一个速度数字,并把其余数据列在旁边。
计时对象。 在纯 HTTP 目标上,通过代理,从请求开始到末字节的时间。HTTPS 目标会增加一次 CONNECT 和一次 TLS 握手,往返次数大约翻倍,因此它们只报告成功率和拦截情况,不报告延迟。把它们混进来,会让网络因为恰好测试了哪些目标而得到奖励。
负载下。 每个采集区域会选出其中最快的国家作为参照。在每个时间段内,该国家先接收一小波轻量请求,一分钟后再接收一波达到完整普查并发量的请求。两者之比就是该区域的减速系数,应用于从该区域测试的每个国家的轻负载延迟。轻负载延迟会显示在旁边,您可以看出每个网络在繁忙时会慢多少。
按比值计分。 速度子分数是该网络在负载下的 p50 与 Atlas 中最快网络的对比:100 × leader ÷ yours。领先者得 100 分;延迟是领先者两倍的网络得 50 分。速度在默认 Atlas Score 中占 14%。完整评分规则列出了每一步。
如果速度对您的工作负载比默认权重所假定的更重要,可以使用排行榜的“延迟优先”预设,它会重新调整排名权重,让速度占更大比重。
速度因目标和国家而异
不存在唯一的“最快住宅代理”。只存在在特定区域、到特定国家、针对特定类型目标、在特定时段最快的网络。
国家。 家庭宽带快、到目标站点路径短的国家,其出口响应更快。如果指定很窄的位置,例如某个城市,可选的出口集合就会缩小,网关可能因为只剩这一个出口而给您分配一个较慢的。
目标。 在任何网络上,带有大型资源的重页面都比小型 JSON 接口耗时更长。设有防护的目标,即使请求最终成功,也可能多出一次质询往返。各目标的结果显示了同一网络的表现在不同站点之间会有多大变化。
时段。 住宅出口与设备所有者共享带宽。出口所在国家的晚高峰,可能拖慢早餐时段还很顺畅的请求。只取某一个小时的数字,只是一张快照。
速度何时重要,何时不重要
在为速度多花钱之前,先确认您的任务是否真的受速度限制。
批量采集。 如果您在抓取一长串页面,且没有人在等待结果,吞吐量主要由并发数决定,而不是单个请求的延迟。多开一些并行请求,通常比换成中位数略低的网络完成得更快。这里成功率更重要,因为每一次失败都意味着一次重试。
交互式或实时工作。 在决策时刻查价、广告验证,或任何有人在等待的场景,受限于尾部延迟。此时 p90 和 p99 与中位数同样重要。
多步骤会话。 登录、购物车和分页流程是按顺序执行的,每个慢的步骤都会累加到总耗时上。稳定性比原始速度更重要。
人们归咎于服务商的延迟,很多其实出在自己的客户端:没有复用连接、地理过滤条件过于严格、超时设置过长。使用住宅代理时如何降低延迟介绍了在更换服务商之前值得先尝试的改进方法。
自行核实速度宣称
- 选择两到三个您实际使用的目标,其中至少包含一个纯 HTTP 页面,这样可以在不含 TLS 往返的情况下测量网络本身。
- 在同一小时内,从同一台机器,以您生产环境中的并发量,通过每个网络发送相同的请求。
- 将每个请求计时到末字节,并记录它是否通过了您自己对真实页面的检查。
- 报告成功请求的 p50、p90 和 p99,并在旁边列出成功率。
- 在出口国家的繁忙时段重复一次。如果排名发生翻转,您就知道了哪个网络在负载下依然稳得住。
然后将您的数据与 Atlas 对照。Atlas 持续按同样的方法执行测试,并以与其他所有网络相同的规则测试 Shifter。