住宅代理市场有一个很少被公开讨论的结构性特点:您可以购买的许多“网络”并不拥有它们所售出的大部分地址。它们从数量更少的运营商那里批量采购,再转售其中一部分。有时转售方确实在路由、定向和工具上增加了真实价值,有时除了利润空间之外什么都没有增加。
这并不是丑闻。从移动网络到云托管,转售在所有基础设施市场里都很常见。问题在于,购买时看不到这一点,而它会悄悄破坏买家经常要做的三项决策:选哪家服务商作为备用,实际拥有多少容量,以及什么价格才算合理。
好消息是,这一点是可以测量的。本指南说明供应链如何运作,重叠会对这些决策造成什么影响,以及如何避开让大多数重叠数字失去意义的抽样错误来进行测量。
住宅代理的供应实际如何运作
住宅出口是一条真实的家庭宽带连接,它通常通过某个应用或 SDK 同意为某个网络转发流量。建立这样的供应既缓慢又昂贵:需要应用合作、授权流程、费用结算、欺诈控制,以及多年的流失管理。只有少数运营商能够做到大规模。
围绕它们形成了一个分层的市场:
- 运营商获取设备来源,并运营通过这些设备转发流量的基础设施。
- 批发商从一家或多家运营商购买容量并批量转售,有时会在同一个网关后面混合多个来源。
- 分销商从运营商或批发商处购买,并以自己的品牌出售,通常配有自己的控制台、套餐和支持,而流量则从别人的出口发出。
同一个品牌可以处于多个层级:在某些国家使用自有供应,在另一些国家使用外购供应,并在需求高峰期通过批发渠道补足缺口。这些在定价页面上都看不到。
它破坏的三项决策
**冗余。**服务商出问题时,通行的建议是再备一家。如果两家取自同一个池,您买到的只是第二张发票,而不是第二个来源。当目标站点开始拒绝一段地址时,它会同时拒绝两家服务商的这些地址,而这恰恰是备用方案本应发挥作用的时刻。如果您的备用服务商有 70% 的出口与主服务商共享,那么备用流量中就有 70% 落在目标刚刚学会不再信任的地址上。您通常是在事故发生时才发现这一点。
**容量。**服务商会宣传池的规模,买家则把它们相加。假设一个大型网络向您展示 1,000,000 个不同的出口,一个较小的网络展示 70,000 个,其中 50,000 个也出现在大型网络里。同时使用两者,您得到的是 1,020,000 个不同的出口,而不是 1,070,000 个。第二家服务商只多带来了 2% 的地址,而不是 7%,但您要为它的整个套餐付费。
**价格。**分销商的成本是其上游的价格加上自己的利润。如果分销商增加了您看重的东西,这可以接受。但如果您本可以以更低的价格直接从上游买到同样的出口,这就不划算,而许多买家并不知道上游的存在。
方向就是全部发现
单一的重叠百分比会掩盖测量中最有用的部分。共享地址必须从两个方向来看。
以上面的例子为例:一个观测到 70,000 个出口的网络与一个观测到 1,000,000 个出口的网络之间,有 50,000 个共同地址。
| 较小的网络 | 较大的网络 | |
|---|---|---|
| 观测到的不同出口 | 70,000 | 1,000,000 |
| 与对方共享 | 50,000 | 50,000 |
| 自身池中被共享的占比 | 71% | 5% |
| 独占占比 | 29% | 95% |
这种形态,即小池的大部分位于大池之内,而大池只有一小部分位于小池之内,正是转售的特征。这种关系是单向的:较小的网络处于下游。
再来看两个独立的运营商,它们在相同的国家从消费级 ISP 获取供应。假设一个显示 400,000 个出口,另一个显示 300,000 个,两者共享 6,000 个。这分别占前者的 1.5% 和后者的 2%:两个方向上的重叠都很小,大致符合两个恰好触达了部分相同家庭的网络的预期。对称且很小,说明两个网络各自独立地做着同样的事。不对称且很大,说明其中一方在从另一方购买。
抽样陷阱
您看到的大多数重叠数字背后都有同一个错误:样本太小,会让完全相同的池看起来互不相关。
设想两个品牌出售的是完全相同的 2,000,000 个地址的池。您从每个品牌各抽样 20,000 个出口。平均而言,只有大约 200 个会匹配,约占每个样本的 1%。如果只看表面,这意味着两个网络几乎没有重叠。实际上它们是同一个网络。
之所以会这样,是因为轮换池每次都会给出不同的一部分。原始重叠始终只是一个下限:两个池可能共享的远比您看到的多,但绝不会更少。问题在于如何区分“不同的池”和“同一个池但样本很小”。有两种方法。
**与每个池自身的重叠作比较。**从同一家服务商,在同一时间窗口内以同样的方式取两个样本,测量它们彼此之间的重叠。这就是基线:同一个池的两个样本之间,您最多可能看到的重叠。然后把跨服务商的重叠与它对比。
relative overlap = overlap between A and B ÷ overlap of A with itself
相对重叠接近 1,意味着就您的样本所能判断的范围而言,B 的出口取自 A 的池。接近 0 则意味着相互独立。介于两者之间表示部分共享,例如某个网络购买了一部分供应。
**根据重复出现的次数估算真实的池规模。**同样的自身重叠还能让您粗略估算一家服务商实际能触达多少地址,所用的是生态学家用来统计湖中鱼数量的标记重捕法:
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
如果同一家服务商的两个 40,000 个出口的样本共享 8,000 个,那么无论其营销怎么说,该服务商在该时间窗口内针对您的目标大约能触达 200,000 个不同的地址。这个估算假设每个地址被分配到的概率相同,而这从来不完全成立,所以请把它当作数量级,而不是普查结果。即便如此,它也比宣传的池规模接近现实得多。
共享地址之外的信号
地址重叠是证据。其他一些信号也指向同一方向,而且往往更容易先发现:
- **共同的事故。**如果两个网络在同一小时内开始在同一目标上出现故障,并且同时恢复,它们很可能通过相同的出口路由。持续数周的相关事故很难用其他方式解释。
- **相同的位置错误。**每个网络在把地址映射到国家和城市时都会有一定误差。当两个网络对相同的地址犯了相同的错误,它们很可能读取的是同一份上游位置数据,或者发送的是同样的流量。
- **相同的网关行为。**相同的错误页面、相同的会话参数语法、粘性会话中相同的怪异之处,或代理层返回的相同响应头,都表明底层是同一套基础设施。
- **相匹配的 ASN 和国家构成。**两个池按 ASN 和国家划分的占比几乎相同,这具有提示意义。单凭这一点什么也证明不了(见下文),但与不对称的重叠放在一起,它能补全整幅图景。
重叠不能证明什么
这项测量很容易被过度解读,因此有必要明确说明它的局限。
**转售不是欺诈。**分销商如果为了速度而挑选出口、提供更好的定向或工具,或者更快地回复支持请求,那么它出售的是真实的东西。分销商甚至可能是对比中最快的产品,因为筛选确实发挥了作用。问题在于在不知情的情况下为转售的库存支付溢价,或者指望它提供它无法提供的独立性。
**共享 ASN 不等于共享地址。**两个都从同一家大型 ISP 获取供应的网络,在 ASN 分布中看起来很相似,却可能没有任何实际共享的地址。ASN 层面的相似只是一个提示,只有地址层面的匹配才是证据。
**相邻不等于匹配。**在 IPv4 上,同一个 /24 中的两个出口往往属于不同的家庭。在 IPv6 上,一个家庭通常拥有整个 /64,所以精确的地址匹配会漏掉共享设备:请改为按 /64 比较 IPv6 出口。把两种规则混用,要么会掩盖真实的重叠,要么会凭空制造重叠。
**方向会随时间变化。**一个起步时做分销、后来建立了自有供应的网络,其重叠会逐月下降。一个新增了上游的批发商,其重叠会突然上升。单个时间窗口只是一张快照,趋势说明的问题更多。
第二家服务商究竟能给您带来什么
一旦知道了各种重叠,您就可以算出多服务商方案的价值。对于两家服务商,您实际能触达的地址是:
reachable exits = A + B − shared
对于三家,把三者相加,减去每一对的重叠,再加回三者共有的地址。实践中,有用的数字更简单:对每个候选者,它能增加多少您目前无法触达的出口?这是它在您的方案中的独占占比,而不是它的池规模,也是应当与其价格相权衡的数字。
对于冗余,问题还要更窄。重要的不是总重叠,而是在您需要备用方案的那些目标上的重叠。两个网络在容易的站点上可能相互独立,但在难度高的站点上却共享大部分可用出口,因为每个池中只有一小部分能够通过。
采购时如何运用
**在选择备用服务商之前先检查重叠。**如果您为了冗余而增加第二家服务商,那么它与您的主服务商在您的关键目标上的重叠,是对比中最重要的数字。它比任何一个网络的成功率都更重要。
**按独占性折算池规模的宣称。**有用的数字既不是宣传的池规模,甚至也不是测得的池规模,而是测得的池规模乘以其独占占比:即您确实无法通过其他途径触达的地址。
**以书面形式询问供应情况。**拥有自有供应的服务商通常会直截了当地说明。对于“您是否运营所售出的出口,在哪些国家?”这个问题,含糊的回答本身就是一个数据点。
**把转售特征视为业务风险,而不只是技术风险。**当分销商的上游条款、价格或质量发生变化时,分销商的产品也会随之变化,而您与上游没有任何关系。对于原型来说,这几乎无关紧要。对于任何有截止期限的事项,它都应该列入您的风险登记册。
自己动手测量
如果您在两家或更多服务商那里有账户,这只需要一天的工作量:
- **同时运行两者。**在同一时间窗口内,通过每家服务商发送相同的请求。池在不断轮换,所以周一抽样一家、周四抽样另一家,什么也说明不了。
- **记录目标看到的内容。**每次请求都要从目标一侧的检查(例如 IP 回显服务)中记录出口地址,而不是服务商控制台所报告的内容。控制台可能有缓存、可能有误,也可能描述的是网关。
- **每家服务商取两个样本。**把每家服务商的流量分成大小相等的两半,以便测量它与自身的重叠。
- **样本要足够多。**每家服务商的目标是数万个不同的出口。若低于几千个,每个重叠看起来都很小,与自身重叠的比较也会变成噪声。
- **规范化地址。**IPv4 按完整地址比较,IPv6 按 /64 比较。
- **计算两个方向。**先算共享数量占每个池的比例,再算相对于每个池自身重叠的相对重叠。
- **下个月重复一次。**不同时间窗口之间的变化往往是最能说明问题的结果。
Atlas 如何测量
Atlas 对其测试的每一对网络都进行这项测量,并发布在代理池重叠页面上,其中包括每组重叠的方向以及每个网络的独占占比。每个网络都在同一时间窗口内以相同的请求进行测试,并将各自分配出的出口地址逐对求交集。方法论详细描述了具体做法及其局限。
很少有对比会发布类似的内容。考虑到这是这个市场里少数可以被检验而不只是被宣称的事情之一,这一点相当奇怪。