购买住宅代理是因为你的目标网站对家庭连接和服务器连接的处理方式不同。如果你实际收到的其实是披着住宅标签的数据中心地址段,那你等于是花住宅代理的价钱买到了你本想避开的东西,而你会通过不断上升的封锁率而不是账单上的任何信息发现这一点。假住宅代理之所以是这个市场中代价最高的错误,正是因为它失败得悄无声息。
好消息是,这是一个可以核实的说法。一个 IP 的性质是公开记录可查的事,你可以在试用或首次小额购买时用几分钟自己检查。下面是住宅代理和数据中心代理的真正区别、为什么有些代理池名不副实,以及区分二者的具体检查方法。
什么使一个 IP 成为住宅 IP
住宅 IP 是消费者互联网服务商分配给家庭连接的地址。它归属于向个人出售宽带的 ISP,位于为消费者接入注册的地址段中,在网站看来它就是一个在家上网的普通人,这正是它被视为低风险的全部原因。详细内容见住宅 IP 的结构剖析。
数据中心 IP 是分配给托管基础设施的地址。它归属于云服务或托管公司,位于为服务器注册的地址段中,而且很容易被识别出来,因为这种注册信息是公开的。网站在把这些地址段视为机器流量时并非猜测,而是在读取一个数据库,这就是为什么数据中心代理会在住宅代理能够通过的目标网站上被封锁。完整对比见住宅代理与数据中心代理。
在商业上真正重要的区别是:住宅地址稀缺,以合乎道德的方式获取成本高昂;数据中心地址便宜,而且能大批量获得。正是这个价格差导致了虚假宣传的发生。
虚假宣传的几种表现形式
这种情况很少会直白到把纯数据中心代理池当作住宅代理出售。更常见的是以下四种模式。
第一种是稀释:代理池的一部分确实是住宅代理,但混入了数据中心地址段,以此撑大宣传的总数并消化需求。你最初的测试请求可能看起来没问题,而实际生产流量中相当一部分却是从服务器地址段流出的。
第二种是被错误标注的、接近托管的地址段,也就是那些归属于托管服务商或转售商的地址,却因为不属于最知名的云地址段而被宣传为住宅地址。它们依然注册在基础设施名下,网站使用的数据库依然知道这一点。
第三种是被含糊出售的 ISP 地址。静态ISP 代理是一种合法且有用的产品,是注册在消费者 ISP 名下的托管地址,这本身没有任何问题。有问题的是把它们当作轮换住宅代理出售却不加说明,因为它们的表现方式不同:是一小组固定地址,而不是一个由真实家庭构成的大型轮换池。
第四种是夸大的代理池数字,宣传数字统计的是曾经观察到的所有地址,而不是你所需国家中当前可并发使用的数量。这在同样意义上不算造假,但会带来同样的失望,这也是为什么代理池规模相对于你实际采集地区的密度而言是一个较弱的指标。
检查一:该地址被注册为何种性质
最快的检查方法是查公开的注册信息。从代理池中抽取若干出口地址,查询每一个的 ASN 和背后的组织。住宅出口应当解析为消费者互联网服务商、电信运营商、有线或宽带运营商,也就是向家庭出售连接的那类公司。数据中心出口则解析为托管或云服务公司。
要对一批样本进行检查,而不是只看一个地址,因为稀释是常见情况,单一的干净结果说明不了任何问题。抽取五十到一百个出口地址,按组织分组,观察分布情况。如果有相当一部分属于托管服务商,说明你面对的是一个混合代理池。这正是使运营商定向成为可能的ASN 可见性,在这里被用作一种验证工具。
import requests, collections
PROXY = "http://customer-USERNAME-country-us:PASSWORD@p.shifter.io:443"
seen = collections.Counter()
for _ in range(50): # sample the pool, do not trust one exit
r = requests.get("https://ipinfo.io/json",
proxies={"http": PROXY, "https": PROXY}, timeout=15)
d = r.json()
seen[(d.get("org"), d.get("country"))] += 1
for (org, country), n in seen.most_common():
print(f"{n:3} {country} {org}") # look for hosting/cloud names in the list组织列表以消费者 ISP 为主,是你想要的结果。而列表中夹杂着大量托管公司,则说明了你实际买到的是什么。
检查二:IP 情报数据库怎么说
注册信息是基础,但实际的问题是你的目标网站如何对一个地址进行分类,而它们使用的是会为地址分配使用类型(住宅、托管、企业、移动)的商业 IP 情报服务。其中一些服务提供可以直接查询的接口,一些代理检测服务甚至会直接告诉你某个地址是否被标记为代理或托管地址段。
对你的样本进行检查,并将结果与服务商的宣传相比较。这也是你了解IP 信誉的地方,这是与类型不同的另一个维度:一个地址可以确实是住宅地址,但仍因之前的滥用而被大量标记,而一个由真实但已被”用坏”的地址组成的代理池,带来的失望几乎不亚于一个假代理池。
检查三:在真实目标上的表现
决定性的测试是那个真正关乎你业务的测试,即这些流量在你实际需要的网站上是否有效。注册信息和数据库只是目标网站看法的代理指标;目标网站的看法才是真正的事实依据。
选择两三个你真正的目标网站,最好包括一个防护严密的网站,通过代理池运行适量的流量。与一个对照组进行比较,可以是数据中心代理或直接连接,不仅要留意明显的封锁,还要留意更隐蔽的失败情况:验证挑战页面、通用或空白响应、被截断的列表以及重定向,这些情况都可能伴随 200 状态码出现,却悄悄污染你的数据集,详见检测被封锁或虚假内容。如果一个号称住宅的代理池在一个已知会封锁数据中心流量的目标网站上的表现和数据中心地址差不多,那么无论任何查询工具怎么说,你都已经得到了答案。
检查四:服务商应当能够回答的问题
其中一些属于尽职调查而非测量,但答案很能说明问题。
问一问地址来自哪里。合乎道德的住宅网络通过知情同意的方式获取地址,通常是通过公开披露的 SDK 或应用安排,参与者知道自己的连接被共享,并且可以选择退出,服务商应当能够毫不为难地描述这条供应链。在这一点上含糊其辞是最大的警示信号,无论是从道德角度还是实际效果角度,因为未披露的来源往往与容易被标记的代理池相关。这一点在合规方面也很重要,详见GDPR 与住宅代理以及关于AI 数据采集的道德采购的文章。
问一问代理池在你所需的具体国家中的构成情况,而不是全球范围的情况。问清楚该产品是轮换住宅代理、静态 ISP 代理,还是二者的混合,并要求得到明确的答案。问一问并发和轮换实际是如何运作的,这应当与代理网络在实践中如何运作相符。并且对免费或价格可疑地低廉的住宅代理保持应有的怀疑,因为真正的住宅供应存在实实在在的成本底线,任何远低于这一底线的报价都是靠某种东西在补贴,通常是代理池的质量或其中人员的同意,这正是免费代理与付费代理一文中的论点。
一套简短的验证流程
在承诺使用某个服务商之前,按以下顺序进行检查。抽取五十到一百个出口地址,按 ASN 和组织分组,留意其中是否混有托管公司的名字。对其中一部分样本进行 IP 情报查询,核实使用类型和代理标记。用你自己的两三个目标网站(包括一个防护严密的网站)运行真实流量,并通过响应验证而不仅仅是状态码来衡量成功率。确认你所购买的地理位置就是你实际得到的地理位置,因为在你所需国家地址稀薄的代理池,即使每个地址都确实是住宅地址,也依然会让你失望。并直接问清楚地址来源的问题。完整的测量方法见测试速度、成功率和位置准确性。
这一切都花不了多长时间,而在扩大规模之前先做这些检查,远比在经历一个月的采集质量下降后才发现答案要划算得多。
结论
住宅地址和数据中心地址之间的差异是有公开文档记录的,这意味着”这个代理池是否真的是住宅代理”是一个有据可查的问题,而不是一个只能靠信任的问题。抽取代理池样本,查看出口地址背后的组织,再用 IP 情报交叉核实使用类型,然后在你自己的目标网站上进行测试并做好响应验证,因为只有目标网站的判定才是真正说了算的。问清楚地址来自哪里,并期待得到明确的答案。一个真正出售住宅代理的服务商没有理由在这些问题上含糊其辞,而一个含糊其辞的服务商其实已经告诉了你一些有用的信息。
如果你想针对一个能够清清楚楚回答这些问题的代理池进行上述检查,那正是住宅代理所提供的:真实的家庭级地址,支持国家和城市级定向,而按 GB 计费意味着一次验证运行只需花费所用的带宽费用,别无其他。