详解
IP池是代理网关可用于路由客户流量的底层IP地址库存。当您连接到轮换代理时,网关会从该池中选取出口IP。IP池的质量是决定您的抓取或验证任务能否成功的最关键变量。
评估IP池时,有三个维度至关重要:规模(可用IP的总数量)、多样性(所覆盖的不同子网和ASN数量)以及地理覆盖范围(涵盖多少个国家/城市/ISP)。一个拥有1000万个IP、分布在1000个子网中的IP池,通常比一个拥有1亿个IP但集中在50个子网中的IP池更有效,因为反机器人系统是在子网和ASN层面追踪IP的,而不仅仅是单个IP。
新鲜度同样重要。通过选择性加入SDK合作伙伴关系持续扩充的住宅IP池,会随着用户加入和离开网络而不断循环更新IP。一个已停滞数月的IP池,相比每周刷新一次的IP池,会有更多IP已被常见目标网站标记。
工作原理
住宅代理服务商通过与应用程序及SDK合作来维护其IP池,用户选择加入后可换取免费或高级功能。当用户在线且SDK处于活跃状态时,其设备会在此期间将自身IP贡献给代理池。服务商的网关将该设备视为可用的出口端点,通过其路由少量客户流量,并在用户下线时将其从池中移除。
大型服务商在任意时刻都在活跃池中维护着数百万台设备,新设备持续不断地加入和退出。网关根据地理过滤条件、IP健康状态及负载均衡来选择出口IP,为客户呈现单一端点,从而屏蔽所有底层的动态变化。