威胁情报和开源情报(OSINT)都建立在一件事上:看清对手实际在做什么。分析师调查钓鱼页面,绘制恶意软件的命令与控制(C2)基础设施,监测地下市场里泄露的凭据,并追踪冒充自家公司的品牌滥用域名。但现代恶意基础设施的构建初衷,恰恰是不被那些调查它的人看到,这就把采集变成了一个直接落在代理层上的访问问题。
攻击者伪装他们的载荷(cloaking),对活动做地理围栏,并对进入的连接做指纹识别以揪出研究人员。从企业 IP 段或一个数据中心地址去调查,你往往会看到一个无害的诱饵页面、一次封锁,或者什么都没有,绝不会是受害者会面对的真实威胁。这正是住宅代理登场之处:它们让一支安全团队完全像一个普通本地用户那样去观察威胁,而这是捕获真正被投递的内容的唯一办法。
威胁情报与 OSINT 采集涉及什么
其核心,是一门系统性地观察和记录对手在开放及半开放网络上活动的学问。安全团队和反欺诈团队用它来:
- 检测钓鱼与品牌滥用 —— 找出冒充你品牌的页面,取得它们的钓鱼工具包,并确认它们实际向受害者投递了什么。
- 分析恶意软件与 C2 基础设施 —— 安全地触达攻击者控制的主机,以理解载荷、暂存和命令通道。
- 调查欺诈与骗局 —— 像一个目标用户所看到的那样,观察骗子店面、假冒支持页面和基于广告的诱饵。
- 监测暴露面 —— 盯住市场、论坛和 paste 站点,寻找泄露的凭据、数据,以及对你组织的提及。
- 绘制威胁行为者的基础设施 —— 随时间关联域名、主机和活动,弄清谁在瞄准谁。
这一切都取决于捕获真正投递给一个真实目标的内容。而被投递什么,完全取决于基础设施认为是谁在敲门。
为什么这是一个代理问题
现代恶意基础设施的三个特性,把威胁采集变成了一个直接冲进代理层的数据采集问题。
恶意基础设施会伪装(cloaking)。 钓鱼工具包和恶意软件着陆页会例行地向它们联想为安全厂商、云服务商和数据中心的 IP 段投递良性、看起来无害的内容,只对目标地区的住宅 IP 才揭示真正的载荷。从数据中心地址前来,你捕获的是诱饵,不是威胁。(封锁爬虫的那套检测机制在这里同样适用;见为什么爬虫会被封。)
威胁是有地理围栏的。 一场瞄准德国银行客户的钓鱼活动,可能只对德国住宅 IP 才触发;一场瞄准美国购物者的骗局,在别处则一片漆黑。如果你所有的采集都源自一个位置,你就只看到一个地区的威胁,而对瞄准你其他市场的活动一无所知。看到一个目标受害者所看到的,需要从那个受害者的位置去观察。(何时城市级定位很重要对区域性活动同样适用。)
归属与规模两者都重要。 从你的企业 IP 段去触达对手的基础设施,可能会惊动那个行为者,于是他伪装得更凶、给你喂假信息,或在你捕获之前就把活动拆掉。而持续监测众多域名、市场和来源,是海量的请求;从少数几个 IP 出发,你会触发速率限制,得到一幅片面、有偏的图景,恰好漏掉那些防守森严、高价值的来源。
这三者的解法是同一个:从看起来像真实本地用户的 IP、在你需要的地区、且不带一条能回溯到你组织的可追踪链路,去观察。
住宅代理在哪里契合
住宅代理把你的采集请求经由真实的消费者 IP 路由,于是恶意基础设施回应你的方式,就如同回应一个真正的本地目标。专门就威胁情报和 OSINT 而言,这一次解锁了多件事:
看到真实的威胁,而非诱饵。 因为住宅 IP 带着真实用户的信任,你击败了那种把载荷藏起来不给安全厂商看的伪装,捕获到受害者会收到的那个真实页面、工具包或诱饵。这就是可付诸行动的情报与一个看似无害的漏报之间的区别。
在不暴露你组织的前提下调查。 经由无关联的住宅 IP 路由,可以防止你分析师的活动被轻易地回溯到你的企业 IP 段,于是你可以在不惊动行为者的情况下观察对手的基础设施。代理改变的是一个请求从哪个 IP 发出,给了调查人员一个干净的观察点。
覆盖每一个被瞄准的市场。 借助细化到国家和城市的地理定位,你可以作为一个活动所瞄准的每个地区里的用户去观察它,抓住那些瞄准你单一办公地点永远无法呈现的市场的、带地理围栏的钓鱼与骗局。
完整、持续地监测。 一个庞大的轮换池会把请求分散开,让你可以随时间盯住众多域名和来源而不被封锁或限速,让你的暴露面与品牌滥用监测保持完整而非零碎。(与用于数据采集的住宅代理中相同的采集质量原则在此适用。)
简单地说:住宅代理把”基础设施决定拿给我们看的那个安全诱饵”变成了”我们的用户真正会面对的那个真实威胁,在它瞄准的每一处”。(关于为何在此用途上住宅胜过数据中心,见住宅代理 vs 数据中心代理。)
它是如何运作的
在 Shifter gateway 上,你通过把观察点编码进代理用户名来选择它,一个端点,没有 IP 列表需要管理:
# 作为德国的用户观察一个可疑的钓鱼页面curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://suspected-infrastructure.example
# 当活动按区域做地理围栏时,收窄到某个城市curl -x customer-USERNAME-country-us-city-chicago:PASSWORD@p.shifter.io:443 https://suspected-infrastructure.example为宽泛、持续的监测在池中轮换;当一次调查在多步流程中需要一致的身份时,保持一个粘性会话。同一个 gateway,每个请求不同的定位,为你团队运行的任何分析或案件管理管道供料。因为 IP 信誉塑造着你被投递什么,理解 IP 信誉有助于你正确解读结果。
负责任地使用
威胁情报是防御性安全工作,必须站在正确的一边。只把代理用于经授权的调查:你自己的品牌和基础设施、瞄准你组织的威胁,或你受托执行的项目。观察面向公众的内容,尊重法律边界和每个来源的条款,除被动观察外不与基础设施交互、不去破坏它,并把任何敏感事项交由你的法务和事件响应团队处理。代理改变的是一个请求从哪个 IP 发出,而不是你是否获授权去发出它;我们的可接受使用政策是 Shifter 上何为允许的权威依据,它彻底禁止非法活动。
常见问题
我为什么需要住宅代理来做威胁情报? 因为恶意基础设施会伪装和做地理围栏。它向数据中心和安全厂商 IP 投递无害的诱饵内容,只对目标地区的住宅 IP 才揭示真正的载荷。住宅代理让你看起来像一个真正的本地目标,于是你捕获的是真实的威胁而非诱饵。
代理如何帮助归属与行动保密? 从你的企业 IP 段去触达对手的基础设施,可能会把调查回溯到你的组织并惊动行为者。经由无关联的住宅 IP 路由,给了分析师一个干净的观察点,可以在不暴露是谁在看的情况下去观察。
我不能直接从自己的连接调查吗? 你只会看到一个位置版本的威胁、面临暴露你组织的风险,还会被带伪装的基础设施喂以诱饵。瞄准其他市场的、带地理围栏的活动会保持隐形,而防守森严的来源会对单一 IP 限速或封锁。
OSINT 该用住宅代理还是数据中心代理? 住宅。带伪装的基础设施会专门把数据中心 IP 段过滤掉,所以数据中心给你的是诱饵或一次封锁。住宅 IP 看到的是一个目标用户会看到的真实、地理精准的内容。
这合法吗? 以经授权的防御目的、处理面向公众数据的威胁情报和 OSINT,大体上是正当的,但其范围和合法性取决于司法辖区以及你触碰了什么。代理不会改变底层活动的合法性。把它限定在经授权的调查内,对任何不确定的事项请获取法律意见。
底线
威胁情报的好坏,只取决于你真正能看到的威胁,而现代对手的基础设施正是被设计来躲避那些调查它的人的。因为恶意页面会伪装、做地理围栏并对进入的连接做指纹识别,你需要作为一个真实的本地目标去观察它们,从一个不暴露你组织的观察点,而这正是住宅代理所提供的:真实的载荷而非诱饵、完整的区域覆盖、干净的归属,以及不被封锁的持续监测。
如果你的安全、反欺诈或品牌保护团队在做威胁情报或 OSINT,一个优质的住宅代理网络就是让这幅图景精准、而不是变成漏报的关键。池的质量决定了你能击败多少伪装,所以在评估时值得理解一个住宅 IP 究竟是什么。定价页面有按 GB 计费的套餐,可以拿它对着你在意的威胁和地区试用。