大多数住宅代理指南讲到国家、州、城市就停了。对十次中的九次抓取来说,这就够了。第十次,正是 ASN 定位真正发挥价值的地方,它的差别在于:一个住宅代理看起来是亚特兰大的 Comcast 用户,还是仅仅”一个美国的 IP”。
这是一份关于住宅代理 ASN 级别定位的实战指南。ASN 到底是什么、为什么它对住宅代理池尤其重要、什么时候应该启用它、什么时候国家或城市定位就够了、以及如何在 Shifter 住宅网关上配合具体示例使用 asn 这个 flag。
如果你只想记住一句话:ASN 定位让你能选择 IP 背后的运营商,只要你抓的网站在意访客来自哪个 ISP,这件事就重要。
什么是 ASN,用大白话说
Autonomous System Number 是用来表明”这个 IP 地址段属于这个网络运营商”的标识。每一家 ISP、每一家移动运营商、每一家云厂商、每一家大企业,至少有一个 ASN。AT&T 是 AS7018。Comcast 是 AS7922。Charter Communications 是 AS20115。Vodafone(英国消费侧 ISP)是 AS5378。Deutsche Telekom 是 AS3320。这些号码由地区互联网注册机构(ARIN、RIPE、APNIC、LACNIC、AFRINIC)分配,且不会变动。
当数据包在公网上穿行时,BGP(支撑互联网路由的协议)会把每一个 IP 追溯到宣告它的那个 ASN。任何人都可以用免费工具,比如 Hurricane Electric 的 BGP 工具箱或 RIPE 数据库,查一个 IP 对应的 ASN。对一个住宅 IP,例如 73.158.97.42,查询会返回 AS7922 (Comcast Cable Communications)。对一个数据中心 IP,例如 52.0.0.1,你会得到 AS14618 (Amazon)。ASN 就是告诉你:这是一个真实消费者连接,还是一片服务器农场。
这一条信号——ASN 类别——是反爬系统区分住宅流量与数据中心流量时最可靠的特征。Cloudflare、Akamai、DataDome、PerimeterX,这些系统对流量打分,有一部分就是看源 ASN 是不是属于已知的托管商,还是属于一家真实的 ISP。这就是为什么真正的住宅 IP 能过,而数据中心 IP 会被 CAPTCHA 挡住,也是为什么住宅 IP 的解剖要从”哪个网络拥有它”讲起。
ASN 为什么对住宅代理尤其重要
住宅代理的全部意义在于,这个 IP 在网站看来与一个真实的消费者连接无法区分。对大多数用途来说,国家定位就能做到这一点:一个美国住宅 IP 就是一个美国住宅 IP,无论它在 Comcast 还是 Verizon 上。对”抓这个只对美国开放的目录,别被封”这种场景,国家就够了。
但有一类不算少的抓取场景,网站本身会读 ASN,然后改变展示的内容。在那里,ASN 级别的定位就不再是锦上添花。
运营商相关的路由与内容差异。 流媒体服务、广告网络、一部分零售网站,会根据访客的 ISP 提供不同的内容、不同的价格、不同的库存。一个监测工具要看”得克萨斯州的 AT&T 用户在这个页面上看到什么”,用一个泛美国的住宅 IP 是模拟不出来的——它需要一个 AS7018 的 IP,这样页面才会真的把它当成 AT&T 用户来路由。
针对单个运营商的广告验证。 在运营商打包广告位上投放广告的广告主(例如 T-Mobile 的电视合作位、由 ISP 分发的广告单元)需要在运营商自己的网络上验证素材。从不在该运营商 ASN 上的任何 IP 出发,广告要么渲染不正确,要么根本不渲染。
绕过基于 ASN 而不是国家的地理限制。 一些新闻网站和政府门户会按 ISP 而不是按国家做地理围栏,因为他们想把访问范围限制在”本国运营商的真实订户”。一个国家完全对得上但运营商不同的住宅 IP,在这种情况下也可能拿到 403。
服务质量测试。 SaaS 团队从某个 ISP 的网络里测应用性能(“我们的应用从马德里的 Vodafone DSL 连接上加载得怎么样”)时,需要流量真正从那个 ASN 发出,否则延迟、MTU 和中间盒画像都对不上。
反欺诈调查。 品牌保护团队在调查某个欺诈模式时,经常需要复现来自某个特定 ASN 的流量,以确认欺诈者是从一个真实消费者连接,还是从某个已知代理服务商的 ASN 上发起的。
这些场景都不是空想,它们正是我们在住宅网关里把 ASN 作为一等定位 flag 的理由,也是仅靠国家定位无法胜任这类工作的理由。
什么时候用不到 ASN 定位
这是大多数文章会跳过的部分。ASN 定位是一把比国家定位更锋利的工具,而它也更慢、更昂贵(以 IP 可用性来算)、可用的池子更小。不需要就别用。
下面这些情况你不需要 ASN 定位:
- 你抓的网站关心的是国家或城市,而不是 ISP。大多数电商、大多数公开数据抓取、大多数 SEO 监测、大多数比价聚合。
- 你在一个很大的会话集合上频繁轮换。固定 ASN 带来的收益随着每个 IP 的复用程度而放大。如果你每个 IP 抓一个页面就走,ASN 不会带来什么差别。
- 你的瓶颈在并发,而不在信任分。限制到单个 ASN 会让池子变小。如果你已经用掉了国家池里 80% 可用 IP,在 ASN 给你任何好处之前,你自己就会先把自己掐死。
- 你只是要”住宅”。住宅池本身就是住宅。它的 ASN 已经是一家消费侧 ISP。如果你不在乎是哪家,就不必指定。
正确的思路是:国家给你信任。ASN 在那条信任带里给你一个具体身份。大多数工作只需要前者,而不是后者。
怎么在 Shifter 网关里使用 asn 这个 flag
Shifter 住宅网关在用户名里接受定位 flag。ASN 对应的 flag 就是 asn。flag 的顺序不重要;你可以把 asn 和 country、state、city、sid、ttl 以任意顺序组合。
最基本的、只指定 ASN 的调用:
curl -x customer-USERNAME-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org返回的是一个宣告 ASN 为 AS7922(Comcast Cable Communications)的住宅 IP。没有国家约束,没有城市。如果你想限定为某个国家里的 Comcast IP(Comcast 只在美国运营,但这个模式可以推广),加上国家 flag:
curl -x customer-USERNAME-country-us-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org同一个 IP 可以在一个会话里保持 sticky。加上 sid(任何由你生成的字符串,网关把它当作不透明的会话 ID)和以秒为单位的 ttl,网关就会在那个会话 ID 上,以及该 TTL 的生命周期内,保持同一个 Comcast IP:
curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-1curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-2两个请求都来自同一个住宅 IP、同一个 Comcast 订户形态的源,最多持续 900 秒。过了 TTL,网关会在保持 ASN 约束的前提下继续轮换,下一个 IP 依然在 AS7922 上。
同一个端点支持全部四种协议:HTTP、HTTPS、SOCKS5h、SOCKS5。用户名和密码是固定的,定位是按请求通过用户名传的。
完整的 flag 参考和认证细节,网关文档全都覆盖了。
常见的消费侧 ISP ASN 速查
在真实抓取里最常用到的一些 ASN 简表。这些是各家运营商消费侧宽带业务的宣告 ASN;有些运营商也有用于托管或中转的单独 ASN,那不是你做住宅定位时想要的。
| 运营商 | ASN | 国家 |
|---|---|---|
| Comcast Cable | AS7922 | US |
| AT&T Internet Services | AS7018 | US |
| Charter Communications | AS20115 | US |
| Verizon (Fios) | AS701 | US |
| Cox Communications | AS22773 | US |
| T-Mobile US (Home Internet) | AS21928 | US |
| British Telecom (BT) | AS2856 | UK |
| Sky Broadband | AS5607 | UK |
| Virgin Media | AS5089 | UK |
| Vodafone UK | AS5378 | UK |
| Deutsche Telekom | AS3320 | DE |
| Vodafone Germany | AS3209 | DE |
| Free SAS | AS12322 | FR |
| Orange France | AS3215 | FR |
| Telefónica España | AS3352 | ES |
| Telecom Italia | AS3269 | IT |
| KDDI | AS2516 | JP |
| NTT Communications | AS4713 | JP |
| Bell Canada | AS577 | CA |
| Rogers | AS812 | CA |
任何一个都可以在 bgp.he.net 上先确认一下再投入生产。ASN 分配是稳定的,但第一次对某个新运营商做定位时,花 30 秒查一下值。
ASN 与其他 flag 的组合
定位 flag 之间可以自由组合。实战里常见的组合:
country + asn。最常见。一次性把国家和运营商都固定下来。适合任何”在这个国家里的这家运营商”测试。
country + state + asn。对在全国运营的美国运营商来说,这把范围进一步缩到”在得克萨斯州的 Comcast IP”。注意:不是每个 ASN 在每个州都有覆盖,过度约束可能把池子缩到零。
country + city + asn。再窄一些。在大城市里有大运营商时效果最好。别指望”托皮卡的 Cox”能返回可用结果。
country + asn + sid + ttl。固定到具体运营商的 sticky 会话。这是任何多步骤流程(登录、浏览、结账)需要看起来像一段连续订户会话时的标准模式。
总体规律是:你每加一个 flag,匹配 IP 的池子就缩一点。ASN 在国家层面是粗筛(美国的 Comcast 有几百万个 IP),但你一加州、再加城市,就会很快变得很锋利。如果请求返回 502,最常见原因是 flag 的组合此刻没有可用 IP。把最具体的那个 flag 拿掉,然后重试。
你会遇到的错误以及怎么处理
Shifter 网关在代理层的错误上返回标准 HTTP 状态码。有三个值得记住:
407 Proxy Authentication Required。 用户名或密码错了,或者你用了网关不认识的 flag 名。重新检查 asn 的拼写(不是 as,不是 asn_number),确认密码。
502 Bad Gateway。 当前没有 IP 匹配你的过滤条件。要么这个 ASN 在我们池里是空的(对上面列出的主流消费侧 ASN 很少见,对小众 ASN 比较常见),要么你用 country + state + city + asn 过度约束了。放宽一个约束再试。
504 Gateway Timeout。 上游响应太慢。几乎总是目标网站的问题,而不是代理的问题。带退避重试。
特别说一下 407:网关把不认识的 flag 当作认证错误来报,而不是默默忽略。这是故意的——它阻止 asn-7922a 这样的拼写错误悄无声息地变成”完全没有 ASN 约束”。
ASN 定位不是魔法
两个重要的限制条件,因为太多代理商在这件事上一笔带过:
ASN 告诉你的是哪个网络在宣告这个 IP,不是网站怎么给用户打标。 大多数网站会直接通过 BGP 支持的 IP 数据库读 ASN,但有些网站有自己的分类层(TLS 指纹、请求头顺序、和 BGP 不一致的地理库),一个 AS7922 的 IP 是被当作 Comcast 用户的必要条件,但不是充分条件。如果你拿到了正确的 ASN 却看到奇怪行为,先去查请求头、TLS 画像和指纹,再来怪 ASN 这一项。
不同 ASN 的池子大小差别很大。 美国主流运营商的住宅池非常大。欧洲中等规模 ISP 和亚太运营商可能小不少。如果你既要高并发,又要特定的小 ASN,提前规划好;定价页上每 GB 的价格和 ASN 无关,可用性却不是。
常见问题
怎么找到我要抓的网站的 ASN? 不需要找,网站的 ASN 没意义,有意义的是访客的 ASN。你通常想知道的是:“我的代理流量应该来自哪个 ASN,才能在这个网站看来像真实用户?”如果是一个美国流媒体服务,答案是”任何一个大型美国消费侧 ISP ASN”。如果网站特别在意是哪家运营商,通常可以通过读它的地理围栏策略,或者拿几家主流运营商分别测一测,看哪些能过来判断。
ASN 定位能和 sticky 会话一起用吗?
可以。在用户名里把 sid-<你的会话 ID>-ttl-<秒数> 和 asn-<编号> 写在一起。网关会在会话生命周期内把同一个 ASN 上的某个 IP 钉住,TTL 之后会在同一个 ASN 内继续轮换。
ASN 定位能保证 IP 真的通过那个 ISP 路由吗?
这个 IP 是由那个 ASN 通过 BGP 宣告的,这是”这个 IP 归谁所有”的权威答案。这正是网站按运营商分类时读到的内容。ASN 定位不保证的是:那个网络上一个真实订户的延迟特征、数据包从你的机器到我们这边的路径、以及运营商覆盖范围内的具体地理位置。要固定地理位置,用 country、state 或 city。
ASN 级别定位和 ISP 定位是两回事吗? 实操上不是,ASN 就是网络对自己的标识方式,也是网站读取的方式。“ISP 定位”是市场术语,“ASN 定位”是技术术语。是同一回事。
为什么数据中心或静态 ISP 定位不像这样用 ASN flag? 数据中心代理来自托管商的 ASN(AWS、OVH、Hetzner),那些 ASN 正是反爬系统标记的对象,所以挑选没意义。ISP 静态住宅代理来自我们已经维护好的某个 ISP 合作,所以 ASN 已经隐含在你购买的计划里了。ASN 定位的意义,专门在轮转住宅池里——任何一个国家里都有多家可选的运营商。
使用 ASN 定位是否违反某些供应商的服务条款? ASN 定位是一个路由概念,不是一种规避手段。你只是请求一个住宅代理从某家运营商的 IP 空间里发出流量——住宅代理本来就是干这个的,只是更精确而已。Web 抓取的通用规则在这里同样适用:在 robots.txt 起承载作用的地方尊重它、不要拖垮目标、遵守速率限制、不要违反明确禁止自动化访问的具体服务条款。我们可接受使用政策是 Shifter 上”什么允许”的最终依据。
真正该启用它的时机
ASN 定位是一把精度工具。大多数抓取用不到它,而真正用到它的那些抓取,离了它基本就没法做。
在把 asn 加到你的网关调用里之前,值得问自己三个问题:
- 目标网站是按访客 ISP 改变内容,还是只按国家?
- 我是为某个具体运营商做测试,或是在做按运营商分段的测量吗?
- 我的并发预算够不够,让我固定到一个 ASN 之后还不会被瓶颈卡住?
只要这三个里有一个答案是”是”,ASN 定位就是合适的工具。否则,国家和城市就能做同样的事,而且能用到更大的池子。
无论哪种情况,新的 Shifter 住宅网关在每一个计划里都内置了 ASN 定位,不加价、也不是单独的产品。把 flag 打开,指向一个真实运营商的 ASN,你抓取流程的其它部分都不必动。