您把网关设置为每个请求轮换一次,运行任务后查看日志。同一个住宅地址在一小时内出现了三次。第二天,昨天的许多地址又回来了。是轮换出了问题,还是代理池本来就是这样运作的?
一部分是代理池的正常现象,另一部分则是值得解读的信号。如果您依赖轮换住宅代理网络,分清二者能让您对网关背后的代理池有相当多的了解。本指南解释地址为什么会重复出现、Atlas 用来衡量这一现象的两项指标,以及如何自行检查某家服务商。
为什么会出现重复
轮换代理会按请求或按时间间隔为您提供不同的出口,但这些出口来自您所在国家当时在线的有限地址集合。从有限集合中随机抽取,出现重复的速度比直觉所认为的更快。
举一个示意性的例子:假设目标国家有 1000 个地址在线,网关每个请求随机选择一个。仅仅经过约 40 次请求,您见到某个地址两次的概率就已高于一半。这与生日问题的算术相同,也意味着单凭一次重复什么也说明不了。
此外,网关并不是随机选择。它们倾向于优先选用速度快、持续在线的地址,这会把流量集中到一个稳定的核心上。过窄的定向(例如按城市)会进一步缩小可选集合。
当天内重复与跨天重复
日志中有两种重复看起来相似,含义却不同。
在一个会话或一天之内,重复主要反映您所在的细分范围内有多少地址在线,以及您施加的压力有多大。如果每小时发送的请求超出该范围所能承受的量,重复就会增加。这是容量问题,会因国家和一天中的时段而异。
跨天出现的重复则能说明代理池本身的情况。住宅地址会自然变化:设备下线,家庭重启路由器,网络服务商重新分配地址。因此,一个庞大而真实的住宅池,每天看起来都会有明显差别。如果每天早上迎接您的都是同一批地址,那么代理池比表面看起来要小,或者网关严重依赖一组固定的常在线出口。
第二种情况之所以重要,是因为目标网站会按地址记录信誉。每天访问同一网站的地址会在那里积累历史,而正是这种历史会使地址被限速或封禁。
池更替率衡量什么
池更替率(pool churn)是指某个时间窗口内的出口中,此前任何窗口都从未出现过的出口所占的比例。它回答的问题是:我今天拿到的内容中,有多少是真正全新的?
- 高更替率意味着不断有新地址进入。对于轮换型工作负载,这通常正是您想要的。
- 低更替率意味着代理池在循环使用您已经见过的地址。
更替率需要历史数据才有意义。在有史以来测量的第一个窗口中,所有地址按定义都是新的,因此只有当某个网络被跟踪了一段时间之后,这项数字才有参考价值。
对于长会话,更替率也有代价。更替很快的地址,就是会在会话中途消失的地址。如果您的工作需要连续数分钟使用同一个地址,请查看粘性会话实际能保持多久(这是另一项独立指标),而不要把高更替率单纯视为好事。
重复 IP 衡量什么
重复 IP(repeat IPs)是指在 7 天或 30 天窗口内,不同出口中出现在两天或更多天的比例。24 小时窗口不会显示该指标,因为这样的窗口不可能包含跨多天的重复。
轮换住宅池应当让这项数字保持在较低水平。数字偏高,说明库存的表现像静态地址:无论产品页面对轮换怎么说,每天出现的都是同样的出口。
关于住宅池为何会自然更替的背景,请参阅服务商如何构建和更新住宅 IP 池。
将两项指标结合解读
单看任何一项都不够。结合起来看,它们能描述代理池的形态:
- 高更替率,低重复率。 一个庞大而活跃的池。您拿到的大部分地址都是新的,且很少有地址会连续留存数天。
- 低更替率,高重复率。 一个规模小、反复循环使用的池。您不断遇到相同的地址,很少有新地址加入。
- 高更替率,高重复率。 稳定的核心加上不断更替的外围。网关把您的大部分流量送往一组固定地址,而新地址在边缘循环出现。
还有第三项指标有帮助:每个出口 IP 的请求数,即网关在把您切换走之前,同一个地址连续处理的请求数量。无论标签如何标注,它都能区分真正轮换的产品与悄悄表现得像粘性会话的产品。粘性与轮换住宅代理一文介绍了各自适用的场景。
Atlas 如何测量
Atlas 以 5 分钟为一个时间桶,按相同的计划为每个网络记录目标在每个请求中看到的出口地址。会话和轮换设置保持各服务商的默认值,因此这些数字描述的是产品出售时的实际状态。
Atlas 根据这些数据流,对照此前所有窗口计算更替率,并计算 7 天和 30 天的重复率。由于每个网络在相同的时间收到相同的请求,更替率或重复率的差异反映的是代理池本身,而不是测试方式。更替率和重复 IP 的确切定义见方法论,每个受测网络的唯一 IP 数量则给出了各项指标所适用的规模。
自行测量
您只需要一份日志,就可以测出任何服务商的这两项指标:
- 向一个会回显其所见地址的端点发送轮换请求。为每个请求记录地址和时间戳。
- 保持请求速率和国家不变,并且每天在相同的时段运行。
- 每天结束时,建立当天不同地址的集合。
- 更替率: 统计今天的地址中有多少没有出现在之前任何一天的集合里,再除以今天的地址总数。
- 重复率: 一周之后,统计出现在两天或更多天的地址数量,再除以这一周内所有不同地址的数量。
- 如果想比较两家服务商,请在同一时间窗口内并行运行两者。
用您自己的工作负载积累一周的日志,比任何有关轮换的宣称都更有说服力,也能准确显示代理池在您关注的网站上会如何表现。