大多数代理延迟数据只给出一个数字,而单个数字恰恰是描述请求耗时最没有用的方式。延迟是一种分布。大多数请求落在一个狭窄的区间内,少数请求耗时长得多,而决定任务能否按时完成的,正是这少数请求。
住宅出口会让这种离散程度比多数人预想的更大。一个经由住宅代理发出的请求,要从您的客户端到达服务商的网关,再转到家庭网络中的消费级设备,然后到达目标站点,最后原路返回。其中任何一跳都可能出现糟糕的一秒。本指南说明如何阅读一张展示完整离散程度的图表,以及在信任一张图表之前应当问清哪些问题。
延迟图表究竟展示了什么
延迟图表通常是直方图:横轴是响应时间,纵轴是落在每个时间区间内的请求数量。对住宅网络而言,它有一个容易辨认的形状:左侧是一个高峰,大部分请求在这里完成;右侧是一条细长的尾巴,慢请求就在那里。
百分位数就是这个形状上的标记:
- p50,即中位数。 一半的请求比这个值快,另一半比它慢。
- p90。 十分之九的请求比这个值快,十分之一的请求耗时至少这么长。
- p99。 一百个请求中有九十九个比这个值快。最慢的百分之一从这里开始。
p50 与 p99 之间的差距,是整张图表中信息量最大的部分。差距小,说明网络在状态好和状态差的时段表现一致。差距大,说明中位数描述的是一个您只有部分时间才会遇到的网络。
为什么中位数会掩盖长尾
中位数可以很好地描述单个请求,但对一项任务的描述很差,因为任务由大量请求组成,慢请求会累积起来。
举一个虚构的例子。假设某个网络的中位数是 600 ms,p99 是 6 秒。每一百个请求中有一个落在长尾里。如果您的爬虫为每条记录依次抓取 20 个页面,那么某条记录至少遇到一次长尾请求的概率约为 1/5(即 1 减去 0.99 的 20 次方)。于是五分之一的记录比中位数所暗示的要多花数秒,而中位数本身一点也没有变化。
请求量会让情况更糟。每天 500,000 个请求时,百分之一就是 5,000 个慢请求。如果每个慢请求都占用一个工作进程或一个浏览器标签页,您的吞吐量就由长尾决定,而不是由峰值决定。这就是为什么两个中位数相同的网络,完成任务的时间可能相差很大。
百分位数不能求平均
对比表格中的一个常见错误是对百分位数求平均:取每个国家或每个小时的 p99,再平均成一个 p99。得到的结果不是任何数据的 p99。
百分位数来自整个分布的形状。要正确合并两组测量数据,应当先合并底层的直方图,再从合并后的形状上读取百分位数。Atlas 就是这样做的:每个时间段的直方图以相同权重合并进统计窗口,因此安静的凌晨时段与繁忙的下午时段权重相同,任何数字都不是平均值的平均值。具体规则见方法论页面中的延迟定义。
如果一张已发布的图表没有说明其百分位数是如何合并的,请假定它们是被平均过的,并对其中的长尾数字保持怀疑。
您看到的是哪一种延迟?
“延迟”至少涵盖三种不同的测量,而服务商往往引用最小的那个。
连接时间。 与网关建立连接所需的时间。对于连接到附近网关的空闲连接,这个值很小,它并不能说明住宅出口或目标站点的任何情况。
首字节时间。 从发出请求到收到响应第一个字节的时间。它包括经过出口的往返行程以及目标站点自身的处理时间。
总时间。 从请求开始到最后一个字节的时间。这才是您的代码实际等待的时间,在内容较重的页面上,它可能比首字节时间长得多。
Atlas 测量的是在负载下、经由代理、针对纯 HTTP 目标的总时间。选择纯 HTTP 是有意为之。HTTPS 会增加一次 CONNECT 和一次 TLS 握手,使往返次数大致翻倍,而混用 HTTP 与 HTTPS 目标会使图表反映的是测试了哪些目标,而不是网络本身的表现。其他目标仍会报告成功率和封锁情况,只是不计入延迟数据。
负载同样重要。一个只应答少量请求的网络,与同一个网络在真实并发下的表现可能大不相同。Atlas 会记录轻负载延迟,并测量每个地区在普查并发度下会慢多少,然后将两者都展示出来。如果一张图表没有说明绘制时有多少流量在运行,那它很可能展示的是轻负载下的情形。
解读形状
一旦清楚测量的对象,图表的形状所能告诉您的,就比任何单个百分位数都多。
峰值集中、尾部短。 出口表现一致,网关没有吃力。这是最理想的情形。
峰值正常、尾部长而平。 大多数出口没有问题,但有一部分请求遇到了慢速设备、距离较远的出口,或网关内部的重试。请观察 p99 随时间的变化;如果中位数不动而 p99 在变,说明长尾与负载或时段有关。
两个峰。 存在两类请求群体。常见原因是附近出口与远端出口混合,或者两种连接条件不同的对端设备混合。在得出结论之前,请先按国家或出口网络拆分。
超时处出现尖峰。 一批请求恰好堆积在客户端的超时上限处。这些不是慢响应,而是失败,应当按失败计算,而不是算作延迟。
延迟没有告诉您的事
延迟图表只描述已经返回的请求,对返回的内容是否有用则只字未提。
封锁页面或 CAPTCHA 返回得可能比真实页面更快,因为目标站点做的工作更少。一个因为被拒绝而显得很快的网络,在延迟图表上会表现得非常出色。因此,务必把延迟与同一时间窗口、同样目标下的成功率和验证挑战率放在一起看。
如果您想降低自己能够控制的那部分延迟,复用连接、合理的地理筛选和快速失败的超时设置,比更换服务商更有帮助;使用住宅代理时如何降低延迟对每一项都有详细讲解。关于延迟如何影响排名,请参阅配套指南如何评判最快的住宅代理。
任何延迟数据的核对清单
在信任一个延迟数字之前,无论它来自服务商、评测网站还是您自己的测试,请检查:
- 哪些百分位数? 只有中位数会掩盖长尾。请同时索取 p90 和 p99。
- 哪种时间? 连接时间、首字节时间还是末字节时间。只有最后一种才是您实际等待的时间。
- 在什么负载下? 空闲流量会让所有网络都显得更好。
- 在什么时间窗口内? 一个安静的小时不等于一周的流量。
- 如何合并? 是合并直方图,还是对百分位数求平均。
- 哪个目标? HTTP 与 HTTPS、轻量页面与重型页面,彼此不可比较。
- 成功率是多少? 如果旁边没有失败占比,延迟数据可能会误导人。
如果想把自己的测量结果作为分布而不是单个数字来呈现,测试住宅代理速度与成功率的操作指南提供了可以改写使用的脚本。然后把您的 p99 与 Atlas 中并排展示的延迟数据行放在一起,看看您测得的长尾与已发布的是否一致。