免费代理与付费代理这个问题的诚实版本,并不是抽象意义上的质量对比。而是你愿意承受哪种失败。免费代理确实是免费的,对于针对公共页面的少量请求,它们有时确实能用。付费代理需要花钱,但它消除了一类问题,而这类问题一旦涉及到业务层面的采集就会变得代价高昂。
免费代理列表到底是什么
除少数例外,免费代理列表都是全网扫描的产物。扫描器会对地址空间进行扫描,寻找在常见代理端口上响应的主机,检查它们是否会转发请求,然后把符合条件的公布出来。这些主机可以分为三类。
一部分是配置错误的结果。某台服务器、路由器或设备被部署时开放了代理端口,而其所有者对此并不知情。它会一直可用,直到有人注意到并将其关闭,而这可能就是明天的事。
一部分是由喜欢公共服务这一理念的人有意搭建的开放中继。这是最好的情况,也是最少见的。
还有一部分,是专门为了处于他人流量中间而运营的。这是一个购买成本低廉、却能带来高价值控制权的位置,因为运营者能看到所有经过它的流量。
这三类中没有一类对你负有义务,没有容量承诺,也没有理由保证你明天运行任务时它依然还在。
精确表述的安全问题
常见的警告是免费代理会窃取你的数据。这种说法不够精确,容易被人忽视,下面是更准确的说法。
代理运营者能看到你发送的每个请求的目的地。对于普通的 HTTP,他们能看到双向的完整内容,并且可以修改它。对于 HTTPS,传输是端到端加密的,运营者只能看到主机名和流量模式,而看不到内容。这正是使代理在某种程度上可以被接受的保护机制。
问题出在接下来会发生什么。想要获取内容的运营者可以出示自己的证书,寄希望于客户端接受它。配置正确的客户端会拒绝该证书,请求随之失败。而实际情况往往是,某个正在调试一个无法通过免费代理连接的爬虫的人,直接关闭了证书验证,请求随后开始正常工作,而唯一重要的保护也随之消失。此时代理就能读取一切内容,包括脚本发送的任何凭据。
因此规则很明确,值得直接说明:永远不要通过一个你无法确认运营者身份的代理,发送经过身份验证的流量、凭据、个人数据或任何具有商业敏感性的内容。读取一个公共页面,与登录某个账户,属于完全不同的风险类别。
在大规模场景下最先崩溃的是什么
安全是最戏剧化的反对理由。而可靠性,才是终结这场实验的原因。
免费列表会在数小时内失效。相当一部分条目在发布时就已经失效,而在能响应的那些之中,许多早已被你想访问的网站识别出来,因为成千上万的人都在通过同一个地址推送流量。你得到的并不是一个全新的 IP,而是一个已经拥有公开信誉记录、且带着并非你造成的历史问题的地址。
吞吐量完全没有管理。列表上的每一个主机都被所有找到该列表的人共同使用,因此延迟会在不同请求之间产生数量级的差异,连接也会在响应过程中中断。超时不再是一种异常情况,而成为常态,这意味着你的重试逻辑和解析器都必须围绕这种噪声来编写。
地理定位几乎不具备实际意义。条目标注了国家,但标签经常是错的,更不用说城市、ASN 或运营商级别的控制了。对于任何以“像本地用户一样查看页面”为目的的工作来说,靠猜测显然不是策略。
没有会话控制。任何需要在多个步骤中保持同一地址的流程,比如基于游标的分页、已存储的位置选择、多页流程,都无法完成,因为你根本无法两次请求到同一个地址。
也没有任何可见性。当某个任务只产出预期记录数量的一半时,你没有任何依据可供检查:没有成功率、没有错误细分、没有逐请求日志。你只能猜测,究竟是目标网站变了、解析器坏了,还是代理本身失效了。
付费究竟改变了什么
付费网络出售的正是列表所无法提供的东西:来源可知的地址、规模足够大以至于没有单个地址承担你全部工作量的地址池、准确而非一厢情愿的地理位置控制、可按请求选择的会话行为,以及有人对其负责的成功率。
住宅代理通过真实的消费者网络连接进行路由,这正是它们能够对抗具备成熟反爬机制的面向消费者网站的原因。ISP 代理提供相同的信任级别,同时具备静态地址,这正是有状态流程所需要的。数据中心代理仍然是每次请求成本最低的选择,并且是那些不设防目标的正确答案。在这些之间做出选择,是一种路由决策,而付费访问正是让这成为一个真正的决策,而不仅仅是一种期望的前提。
来源同样是你所购买内容的一部分,值得询问清楚。住宅网络是由那些设备承载流量的对等节点构成的,而这些对等节点是否知情并自愿同意如此,是不同服务商之间一个真实存在的差异,无论是从伦理角度,还是从池的长期稳定性角度来看都是如此。在签约任何供应商之前,提出这个问题都是合理的。
什么时候免费代理是正确答案
免费代理并非骗局,而且确实存在一些付费毫无意义的场景。
比如只需要检查一次某个页面在另一个国家是否呈现不同内容。在决定购买套餐之前先了解代理配置是如何工作的。读取一个公开的、非敏感的页面,此时失败没有任何代价,重试也是免费的。或者是一个永远不会再运行第二次的一次性实验。
这些场景的共同点在于,没有任何东西依赖于该请求的成功。而一旦有东西依赖于此,无论是一份报告、一个价格数据流、一个监控任务,还是任何有截止时间要求的事情,这个算式就会立刻反转。
算一笔账
支持付费的理由通常是从质量角度提出的。但从成本角度看,它更有说服力。
以一个规模不大的任务为例:每天抓取几千个公共页面。在免费基础设施上,大多数请求会失败或返回验证页面,因此爬虫会进行重试,而重试同样会失败。于是一名工程师会花上一周时间去构建轮换、健康检查和重试逻辑,以应对一个天生就不可靠的地址池,之后还要每个月花时间维护它,因为列表本身在不断变化。这一周的成本,已经超过了一个小型代理套餐好几年的费用。
同样的任务如果采用付费方案,则按带宽计费。以每 GB 1.00 美元的住宅流量抓取文本页面,并屏蔽图片和字体,这样的任务每月成本可以控制在个位数美元。工程时间因此可以投入到解析器和数据分析上,而不是花在应对基础设施问题上。
这就是全部论点所在。免费代理并非零成本,它只是把成本从账单转移到了工程日程上,并且额外增加了一类没有任何上行空间的风险。
如何选择付费服务商
一旦做出决定,真正有用的评估标准是运营层面的,而不是表面的。池的规模和覆盖国家数量是最醒目的数字,却也是信息量最小的。真正重要的是:成功率能否在你的采集窗口内保持稳定,地理定位能否精确到你所要求的城市或 ASN 级别,轮换会话和保持会话是否能在同一账户上同时使用,并发数是否有明确上限,以及使用情况是否能实时可见,而不是要等到月底才能看到。
在这方面,独立测量比供应商自己的宣称更可信,这也是为什么我们自身网络的数据发布在基准测试页面上并附带测试方法,而不是仅在文章中做出断言。Shifter 的住宅网络覆盖 205M+ 个 IP,分布在 195+ 个国家,支持城市级和 ASN 级定位、轮换和保持会话,并支持无限并发连接,定价按 GB 计费,不收取按 IP 的费用。
简而言之
免费代理适合出于好奇心的场景,而不适合其他任何场景。它们在结构上就不可靠,运营者身份不透明,而一旦涉及凭据,它们就变得危险。
付费代理之所以更好,并不是因为它们花钱。而是因为有人对这个池负责,地理位置是真实的,会话行为符合预期,而且失败情况是可见的。对于任何依赖于人或报告的采集任务来说,这并不是一种额外的溢价,而是最基本的规格要求。
延伸阅读:如何避免在抓取时被封锁。