大多数人在第一次购买代理时,会把这当作一个单一的问题:选哪个套餐,并且最终仅凭价格来做决定。这种做法通常会导致两种结果之一:套餐容量不够用,月中才发现问题,或者买了从未真正用到的容量。这两种情况严格来说都不是定价错误,它们源于跳过了本该在看价格之前就做出的两个决定。
正确的选择顺序是三个依次进行的决定:你的项目需要哪种代理、这个项目实际会消耗多少带宽、以及哪些功能是真正需要的而不只是被列在清单上的。把这三点想清楚,套餐自然就会选出来。
决定一:你的项目需要哪种产品
产品类型并不是同一件事的不同档位,它们的行为方式各不相同,选错了类型并不能靠多买来弥补。
轮换住宅代理是数据采集的默认选择。你从一个庞大的真实家庭地址池中取用地址,默认情况下每个请求都会通过不同的地址出口,这样可以分散你的流量,避免单一地址引起注意。当工作内容是抓取、价格或库存监控、SERP和排名采集、广告验证,或者任何形态为跨多个目标或市场发起大量请求的任务时,应选择这种类型。
静态住宅代理,即ISP代理,是注册在消费级互联网服务商名下的托管地址,因此它们具备住宅级的信任度,同时能长期保持不变。当需求是持久性而非流量时应选择这种类型:比如需要始终从同一个地址被看到的账号管理、长期会话,或者任何地址在你不知情的情况下发生变化会成为问题而非解决方案的场景。相关权衡在ISP代理与住宅代理对比和什么是静态住宅代理中有说明。
机房代理最便宜也最快,当你的目标网站并不在意这些时,这就是正确的选择。如果你访问的是开放API、你自己的基础设施,或者没有实质防护的网站,支付住宅代理的价格就是浪费。诚实的对比可参见住宅代理与机房代理对比。
实用的原则是:使用能够稳定通过你实际目标的最便宜类型,并通过测试而非假设来确定这一点。许多项目最终会采用混合方案:简单来源用机房代理,防护严密的用住宅代理。
决定二:需要多少带宽
住宅代理按传输的数据量计费,而不是按你访问的地址数量计费,所以带宽才是决定套餐大小的数字。这一计费模式背后的原因见为什么按端口计费的时代已经结束,而估算方法本身很直接。
估算你目标网站的平均响应大小,乘以你预计每月的请求数量,再为重试和失败留出余量。纯HTML页面或JSON API响应通常是几十KB;而在浏览器中完整渲染的页面,包含图片、字体和脚本,可能达到几MB,这是整个计算中最大的变量。每天一万次JSON调用和每天一万次完整渲染页面,是完全不同量级的套餐,两者相差大约两个数量级。具体的计算方法见估算每月住宅代理带宽。
有两件事可以在购买前降低这个数字。直接获取底层数据接口而不是渲染整个页面,是最大的杠杆;而在确实必须渲染时屏蔽图片、媒体和字体,是第二大杠杆,两者都在削减代理带宽成本中有说明。值得在确定套餐大小之前先做这类优化,因为它可能让你降低一个档位。
请注意这份清单中没有出现的内容:你能获得多少个IP。在共享池网络中,这不是你购买的数量单位,原因见你实际需要多少代理IP。唯一的例外是并发粘性会话,如果你的工作需要保持身份不变,这是一个需要明确说明的真实需求。
决定三:哪些功能是真正需要的
功能清单往往是套餐看起来变得复杂的地方。但大部分内容可以归结为五个问题。
**地理粒度。**国家级定位可以满足大多数项目。如果你的工作依赖本地结果、本地定价或门店级数据,你需要城市级定位,如果你需要处理运营商特定的行为,你需要ASN定位。要检查你关心的国家是否覆盖良好,而不只是看宣传的全球总数是否庞大。
**会话控制。**确认你既能按请求轮换,也能在多步骤流程需要时保持粘性会话。大多数实际项目在不同时刻都需要这两种能力。
**并发数。**询问同时连接数的限制是多少,因为一个单独计量并发数的套餐会限制某个任务,而仅按带宽计费的套餐本可以轻松运行该任务。参见无限并发代理连接说明。
**协议与集成。**HTTP和SOCKS5几乎能覆盖所有场景;更重要的是定位方式能否以你的技术栈按请求驱动的方式表达出来,在网关层面这意味着凭证信息放在用户名中,而不是通过控制面板切换。
其他一切在你达到规模化运营之前通常是次要的,到那时,支持响应速度和账单灵活性开始比任何功能勾选项更重要。
将常见项目类型与套餐匹配
有几种模式覆盖了大多数首次购买的情况。
小型研究或监控项目,每天追踪几百个页面,通常在使用国家级定位的轮换住宅代理上,每月消耗几GB。从能以一定余量满足你估算需求的最小档位开始,因为后续升级很容易,而为一个尚未验证的项目购买大档位则不然。
跨多个目标的生产级抓取管道是带宽估算真正发挥作用的地方,也是优化工作能直接带来回报的地方。应根据试用中实测的用量来确定规模,而不是靠猜测,并且要预期实际数字会朝两个方向偏离你的估算。
基于账号或会话的工作指向的是静态ISP地址,以及明确数量的并发会话,而不是一个庞大的轮换池。
混合工作负载很常见也没有问题:无防护来源用机房代理,其余用住宅代理。分别为每部分确定规模,比让所有流量都走昂贵的路径更划算。
承诺之前先验证
无论你得出什么结论,都应把它当作一个假设,在扩大规模之前先在试用或小额首次购买中进行测试。使用你真实的目标网站,而不是通用测试URL,并通过响应内容验证来衡量成功率,而不仅仅依赖状态码,因为返回200状态码的验证页面否则会被误判为成功。确认你付费获得的地理位置就是你实际得到的地理位置。测量每个请求的实际字节数,让你的带宽估算变成一次实测。相关方法见测试速度、成功率和位置准确性,供应商层面的评估标准见如何选择代理网络。
一周的真实使用数据比任何规格表都更能说明问题,它能把上述三个决定从估算变成事实。
结论
根据目标网站的要求而非价格来选择产品类型:大批量和地理覆盖需求用轮换住宅代理,持久性需求用静态ISP代理,目标网站不在意的场合用机房代理。根据带宽来确定套餐大小,这意味着要估算响应大小乘以请求量,并在购买前优化你获取的内容,因为仅这一点就可能让你降低一个档位。只要求项目实际会用到的功能,其中地理粒度和会话控制是最常起作用的两项。然后在真实目标上进行验证再扩大规模,因为实测用量胜过任何估算。
如果这一切指向轮换住宅代理,住宅代理提供国家和城市级定位、默认轮换,以及流程需要时的粘性会话,并采用按GB计费,让套餐跟随你实际使用的数据量,而不是按席位数或端口分配来计费。