每家代理服务商都会公布每 GB 的价格,每张对比表都按它排序,但仅凭这一项来选择网络,几乎没有参考价值。
没有人是为带宽本身而购买带宽。您买的是结果:一个带有价格的商品页面,一个有搜索结果的搜索结果页,一个真正加载出来的个人主页。带宽只是发票上碰巧使用的计量单位。一个价格为 $1.50/GB、但在您的目标站点上有三分之一请求失败的网络,每个结果的成本可能高于价格为 $3.00/GB、很少失败的网络,而任何价目表都不会告诉您这一点。
本指南按通常的重要程度依次说明标价与实际交付一个结果的成本之间有哪些环节:失败的请求、这些失败的体量、成功率如何随目标站点变化、您实际用掉了多少套餐流量,以及小字条款中的计费规则。
一次失败的请求会让您付出什么
通过代理发出的请求失败时,字节依然传输了,您依然要为此付费。不过失败的类型各不相同,这种差异会影响计算:
- 挑战页面。 CAPTCHA 或 JavaScript 挑战是一个完整的 HTTP 响应,背后往往带有脚本、字体和图片。它可能与您想要的页面一样大,有时甚至更大。
- 软拦截。 搜索页面能加载但结果为零,或者商品页面缺少价格,在状态码检查看来都像是成功。它通常是完整的页面体量,按全额计费,却什么也没有交付。
- 硬拦截。 简短的 403 或 429 体量很小。它占用一个请求名额和一些时间,但字节很少。
- 超时与连接重置。 这类情况按连接中断前已传输的数据计费,可能只有一次握手,也可能是页面的大部分。
代价最高的失败,是那些在检查内容之前看起来像成功的失败。因此,判断成功必须依据返回的内容,而不是状态码。如何编写这些检查,请参阅成功率指南。
重试税
如果您的请求中有比例为 p 的部分成功,那么每得到一个可用结果,平均需要 1 ÷ p 次尝试。如果失败与成功的体量相同,那么相对标价多出的部分为:
retry tax = (1 ÷ success rate) − 1
| 成功率 | 每个结果所需尝试次数 | 重试税 |
|---|---|---|
| 99% | 1.01 | 1% |
| 95% | 1.05 | 5% |
| 90% | 1.11 | 11% |
| 80% | 1.25 | 25% |
| 75% | 1.33 | 33% |
| 60% | 1.67 | 67% |
| 50% | 2.00 | 100% |
| 40% | 2.50 | 150% |
| 30% | 3.33 | 233% |
关键在于这条曲线。成功率在 99% 到 90% 之间时,重试税变化很小。低于 80% 后上升很快,低于 50% 时,失败的花费超过了结果本身。两个成功率看起来接近的网络,比如 92% 和 84%,它们在成本上的差距比价目表显示的更大。
失败与成功的体量并不相同
简单公式假定每次失败的体量都与一次成功相同。真实流量很少如此。更精确的版本按字节计算:
bytes per result = success size + ((1 − p) ÷ p) × failure size
以一个 450 KB 的页面和 60% 的成功率为例:
| 失败的表现形式 | 每个结果的字节数 | 重试税 |
|---|---|---|
| 简短的 403,约 20 KB | 463 KB | 3% |
| 没有数据的完整页面,约 450 KB | 750 KB | 67% |
| 大型挑战页面,约 900 KB | 1,050 KB | 133% |
成功率相同,账单却差别很大。这就是同一个网络在一个站点上便宜、在另一个站点上昂贵的原因:目标站点决定了失败的方式。对不想要的流量以快速 403 作答的站点,失败的代价很低。以完整挑战页面作答的站点,失败的代价很高,而这样做的往往正是价值较高的站点。
每个成功请求的成本
把这些部分合在一起,对于按每 GB 计费的方式,值得比较的数字是:
cost per 1,000 results =
1,000 × bytes per result ÷ 1,048,576 KB per GB × price per GB
当失败与成功体量相同时,可以简化为常见的形式:
cost per 1,000 results =
(1,000 × payload in KB ÷ 1,048,576) × price per GB ÷ success rate
每一项输入都应来自实际测量,而不是来自销售页面:
载荷。 用您自己的流量来测量。一个页面的 HTML 与同一页面在真实浏览器中加载的结果,大小可能相差一个数量级,如果您驱动浏览器,它拉取的每一张图片、每一个脚本和每一种字体都要计费。
每 GB 价格。 使用您实际会订购的套餐的价格,而不是“起”价,后者通常属于大多数买家永远达不到的档位。Atlas 采用各网络的 200 GB 套餐正是出于这个原因:这是真实团队会购买的用量,而且 Atlas 测量的网络都公布了该用量的价格。
成功率。 在您的目标站点上通过内容检查来测量。这是最常改变结论的输入,也是最常被直接照搬供应商首页数字的输入。
最便宜的网络取决于目标站点
每个网络只给出一个成功率,会掩盖图景中最有用的部分。成功率在不同目标站点之间的差异远大于在不同网络之间的差异,所以随着您的站点组合变化,排名可能反转。
下面是三个示意性的网络,按 450 KB 的页面定价:
| 网络 | 每 GB 价格 | 成功率,简单站点 | 成功率,困难站点 | 每 1,000 个,简单站点 | 每 1,000 个,困难站点 |
|---|---|---|---|---|---|
| A | $1.50 | 92% | 31% | $0.70 | $2.08 |
| B | $3.00 | 96% | 84% | $1.34 | $1.53 |
| C | $4.50 | 98% | 95% | $1.97 | $2.03 |
在简单站点上,A 的成本约为 B 的一半。在困难站点上,A 是三者中最贵的。价目表每次都把它们排成 A、B、C,而这只在简单目标上才正确。
按您自己的流量加权,答案随之而来。当 30% 的请求落在困难站点上时,A 仍然胜出,每 1,000 个 $1.11,而 B 为 $1.40。当困难流量超过约 54% 时,B 成为两者中更便宜的一个。在这里的每种组合下,C 的成本都最高,但在困难站点上它只比 B 贵三分之一,而它的价目表价格比 B 高 50%,是 A 的三倍。
由此得出两点实际结论:
- 按您的流量定价,而不是按平均值。 按目标站点拆分请求,逐个目标测量成功率,再按请求量对成本加权。混合后的成功率会悄悄假定您的组合与制作这个混合值的人相同。
- 留意组合如何变化。 团队会随着时间增加更难的目标,很少增加更容易的。今天在简单任务上最便宜的网络,一个季度后可能变成最贵的,而它的价格并没有任何变化。
真实的每 GB 价格不在价目表上
在任何一个请求失败之前,您实际支付的每 GB 价格就可能已经与报价不同。
使用率。 大多数住宅代理套餐按月出售流量额度,未用完的流量往往在周期结束时作废。一份 100 GB 的 $300 套餐,账面上是 $3.00/GB。如果您只用了 60 GB,那么每个真正发挥作用的 GB 您付了 $5.00。请比较您在实际使用量下会支付的价格,并确认未用完的流量是否可以结转。
最低消费。 低于某个用量时,您的账单取决于承诺额,而不是您的使用量。一个费率只有一半、但每月有 $500 最低消费的网络,如果您每月只花 $200,成本就高于一个按全价计费、没有最低消费的网络。请按您的实际用量算出账单,而不是按折扣看起来最划算的用量。
什么算作流量。 网络通常对双向字节都计费,在小请求上,请求本身及其请求头会占总量中明显的一部分。如果您的载荷很小,网络的计量方式可能比费率上差几美分更重要。在信任任何一方之前,先用一天的时间对比服务商仪表盘上的带宽与您自己的统计。
超额。 超出额度的部分,计费费率往往高于套餐费率。如果您的用量波动很大,有效的每 GB 价格由最忙的那个月决定,而不是由平均月份决定。
其他计费模式
按 GB 计费是住宅流量最常见的模式,但不是唯一的模式,同样的推理依然适用:
- 按请求。 载荷大小不再相关,问题变成失败的请求是否计费。如果计费,每个结果的成本为
price per request ÷ success rate,无论页面多大,重试税都完全适用。如果只对成功计费,那么失败的成本由网络承担,您应该预期这一点会体现在它的价格中。 - 按 IP 或按端口。 静态和独享方案对访问权限而不是流量定价。此时每个结果的成本取决于吞吐量:一个地址在目标站点开始拒绝它之前,能交付多少次成功的请求。请比较每个地址每天的结果数,而不是每个地址的价格。
- 无限流量套餐。 这类套餐把限制从字节转移到线程、速度或合理使用规则上。每个结果的成本是套餐价格除以您在这些限制下实际能跑出的结果数。这些限制通常设在何处,请参阅无限流量代理指南。
时间也是成本
一次失败的请求不只消耗字节。它还消耗失败所花的时间,以及再次尝试的时间。
如果一个网络的响应时间为 1.5 秒,成功率为 60%,那么每个结果平均需要约 2.5 秒的连接时间。而另一个响应时间为 0.9 秒、成功率为 95% 的网络,每个结果所需的时间不到一秒。要在每分钟交付相同数量的结果,前者需要大约两倍半的并发:更多线程、更多工作进程,在按端口计费的套餐上还需要更多端口。延迟指南说明了为什么决定这一点的是慢尾部,而不是中位数。
还有工程成本。一个四分之一请求失败的网络,需要重试逻辑、退避、去重、死信处理,以及在失败模式变化时有人去排查。这是以薪资形式持续发生的成本,一年下来,往往比两张价目表之间的差价更大。
汇总成一个数字
一个经得起预算评审的月度成本模型如下:
monthly cost = max(minimum spend, traffic used × effective price per GB)
traffic used = sum over targets of (results needed × bytes per result)
bytes per result = success size + ((1 − success rate) ÷ success rate) × failure size
用它除以您需要的结果数,再加上每个方案所需的工程时间,然后比较这个数字,而不是价目表。
下单前的核对清单
- 按目标站点拆分您的流量,并估算每个目标的用量。
- 用内容检查而不是状态码,逐个目标测量成功率。
- 用您自己的流量测量成功响应和失败响应的大小。
- 按您实际会使用的套餐为每个候选方案定价,包括未用完的流量和任何最低消费。
- 计算每个目标每 1,000 个结果的成本,再按您的组合加权。
- 检查如果困难目标增多,排名会如何变化。
- 估算每个方案所需的重试处理和并发量。
- 最后才看价目表,把它当作合理性检查,而不是排名依据。
Atlas 如何计算
真实成本页面公布了 Atlas 所测量的每个网络的每个成功请求的成本,并与价目表并列,您可以清楚地看到顺序在哪里发生了变化。每个数字都使用该网络 200 GB 套餐的价格,以及 Atlas 通过内容检查在其所有目标上测得的成功率,并且像您的账单一样,把失败请求所需的重试也计算在内。最低消费不包含在内,因为它取决于您的用量,而不是网络本身。
方法论说明了每个数字的计算方式。Atlas 背后的完整数据集可作为单个文件下载,如果您想核对计算过程,或用自己的流量组合重新计算,都可以使用。