代理检测测试是指任何试图回答访客相关问题的手段:这个连接是否经由代理而来?网站会对每个请求悄悄运行这类测试,而 IP 查询工具在您粘贴地址时会运行其简化版本。如果您正在购买住宅代理,您需要了解的是服务商的出口在真实检测下表现如何,而不是在简化版检测下的表现。
本指南介绍网站实际使用的信号,在线“我是否在使用代理”检查能告诉您什么、不能告诉您什么,以及一项可以在一个下午内对任何服务商运行的测试。本文关注的是 IP 和连接本身。至于您这一侧的配置错误导致优质 IP 被标记的问题,请参阅触发检测的常见住宅代理错误。
网站如何标记代理 IP
检测是分层进行的。没有哪一层单独做出决定,每一层都会为风险评估增加一部分权重。
- 地址本身。 网站,或其付费使用的 IP 情报供应商,会查询该地址的归属方。托管公司的地址段是最容易被标记的。消费级 ISP 的地址段可以通过这一层。
- 已知的代理出口。 供应商会根据蜜罐、流量合作伙伴和自身测试,建立其观察到充当代理出口的地址列表。住宅出口也可能出现在这些列表中,而收录的数量在不同供应商之间差异很大。
- 信誉。 该地址过去的滥用行为:垃圾信息、扫描、撞库攻击。由于住宅出口是共享的,信誉跟随的是地址,而不是您。
- 连接。 代理添加的标头,例如 Via 或 X-Forwarded-For,与客户端库而非浏览器相匹配的 TLS 指纹,解析到与 IP 所在国家不同的 DNS 查询,或绕过代理的 IPv6 路由。
- 行为。 请求频率、时间间隔、导航模式,以及一个地址上承载了多少个身份。这一层能识别出被不当使用的干净 IP。
- 一致性。 IP 的所在位置是否与浏览器的时区、语言及其他信号相符。
一个良好的住宅代理池应当几乎在所有地方都能通过第一层,并且每次都能通过连接层。其余各层取决于代理池的使用方式及其被共享的广度。
在线代理检查能告诉您什么
把一个地址粘贴到代理检查网站,您得到的是某一家供应商对前两三层的判断:归属方、连接类型、代理标记,也许还有一个风险评分。这有一定用处,但有局限:
- 它只代表一家供应商。 各服务对某个住宅地址是否为代理的判断不一致,有时差异极大。把同样的住宅出口交给两家检测服务,常见的情况是一家标记了其中很大一部分,另一家几乎一个也没有标记。
- 它只针对一个地址。 一个代理池会给您数千个地址。一次查询无法说明池中有多大比例会被标记。
- 它不是您的目标网站。 您关心的网站可能使用不同的供应商、自己的模型,或者根本不做检测。
- 它测试的是 IP,而不是连接。 大多数查询工具看不到您的标头、TLS 握手或 DNS 路径。
请把查询工具当作筛查托管地址的快速手段,而不是最终结论。
目标网站才是真正的测试
唯一重要的代理检测测试,是您需要获取数据的那个网站所进行的测试,而查看其结果的唯一方法,是发送真实请求并对返回内容进行分类。拦截页面就是一次检测。CAPTCHA 也是,以正常状态码返回的空结果页同样是。
这就是 Atlas 的做法。每个网络都会向同一组目标逐站评分发送相同的请求,只有内容真实的请求才算成功,遇到质询则算失败(结果如何分类)。难度高的目标能够区分出简单目标无法区分的网络。
在真实性方面,Atlas 会统计每个代理池中解析到托管网络的比例,并检查连接本身:DNS、WebRTC、代理标头、TLS 指纹和 IPv6 回退,均从目标端进行断言验证。这些是服务商可以控制的层面。信誉和行为则部分取决于其他客户,部分取决于您。
如何测试服务商的 IP
一项有意义的测试具备三个特点:出口数量多、使用多种信号、使用您的真实目标。
- 收集出口。 通过该服务商向一个会回显 IP 和标头的端点发送几百个请求,记录每一个不同的出口。
- 筛查地址。 在两到三个 IP 情报服务中查询每个出口。统计被列为托管的比例,以及各供应商将其标记为代理的比例。
- 检查连接。 确认回显端点收不到任何代理标头,DNS 在出口所在国家解析,并且没有任何 IPv6 或 WebRTC 路径泄露您自己的地址。
- 访问您的目标。 发送一部分您的真实工作负载样本。根据内容而非状态码,将每个响应分类为成功、拦截、质询或软拦截。
- 重复测试。 几天后再完整运行一次。代理池会轮换,信誉也会变化。
解读结果
- 托管比例高: 该代理池与其宣传的并不相符。这是最严重的发现,无论您使用哪家供应商都成立。
- 代理标记多,托管比例低: 对于良好供应商已经掌握的住宅出口来说,这是正常现象。在担心之前,请先查看目标网站的结果。
- 连接泄露: 属于服务商或客户端的配置问题。请先修复它,再测试其他内容,因为它会扭曲所有其他结果。
- 查询结果干净,目标却失败: 先检查您自己的请求模式和指纹,再检查服务商在负载下的表现。
- 两家服务商在相同地址上被标记: 它们可能共享库存。代理池重叠指南说明了如何检查。
自行测试
适用于任何试用的简短清单:
- 至少几百个不同的出口,而不是寥寥几个。
- 两个或更多查询供应商,并排比较。
- 通过回显端点检查标头、DNS 和 IPv6。
- 使用您的真实目标,并将质询页面计为失败。
- 在另一天再运行第二轮。
如果某家服务商在查询中表现良好,却在您的目标上表现不佳,请以目标为准。检测测试只是手段,目的是让页面能够加载。