住宅代理是一种代理服务器,它通过互联网服务提供商(ISP)分配给真实家庭网络连接的IP地址发送您的请求。对于接收端的网站来说,这个请求看起来像是来自普通家庭,而不是来自云服务器或数据中心。
这就是其核心理念,之所以重要是因为许多网站会根据流量来源进行判断。来自家庭宽带IP的请求会被当作普通访客对待。而来自已知服务器段的相同请求则常常被限速、质询或屏蔽。这就是为什么大规模采集公开网络数据的团队会通过住宅代理来传输流量。
住宅代理的工作原理
代理位于您的应用程序和网站之间。您的爬虫、浏览器或API客户端将请求发送到代理提供商的网关。提供商通过住宅IP转发请求,并将响应返回给您。
网站只能看到住宅IP。与任何家庭IP一样,它会公开其来源的一些细节:国家、城市、互联网提供商,通常还有地区。而您自己的机器及其地址则隐藏在其后。
这让您能够控制两个对数据采集至关重要的方面:
- 位置。 您可以选择请求看起来来自哪里。优质的提供商可以让您定位到国家、城市,甚至特定的提供商网络,这被称为ASN定位。
- 会话行为。 您可以选择IP是变化还是保持不变。
轮换会话与固定会话
住宅代理提供两种会话模式。
轮换会话会在每次请求或固定时间间隔后为您提供一个新的IP。流量分散到整个IP池中,因此没有单一地址会承载足够多的请求而显得突兀。这适合独立的请求,例如产品页面或搜索结果。
固定会话会在一段时间内保持相同的IP。当请求之间相互依赖时,您需要它们:登录、购物车、分页结果,或任何位置突然变化会显得可疑的流程。
大多数提供商通过一个网关同时提供这两种功能,有时称为反向连接网关:您连接到一个主机和端口,网关负责选择出口IP。我们关于轮换代理如何工作的指南详细介绍了这些设置。
住宅代理 vs. 数据中心代理 vs. ISP代理
数据中心代理使用托管和云计算公司拥有的IP。一台服务器可以从同一子网提供数千个IP。它们速度快、价格低,但网站能够看出它们属于服务器,因此严格的网站会很快屏蔽它们。共享数据中心代理同时被多个客户使用,专用数据中心代理则只供一个客户使用。
住宅代理使用ISP分配给家庭的IP。它们在更严格的网站上也能被接受,并能像本地访客一样显示内容。代价是每GB价格更高,延迟也比服务器更不稳定。
ISP代理介于两者之间。它们注册在消费级互联网提供商名下,但运行在服务器上,这使得它们在单一城市和提供商网络中进行长会话时既快速又稳定。
价格差异并没有看起来那么大。如果更便宜的代理类型导致屏蔽、重试和任务失败,那么省下的费用也会消失。完整比较请阅读住宅代理与数据中心代理。
为什么网站会区别对待住宅IP
反机器人系统很少只看单一信号。它们会综合评分多个因素:IP类型、提供商网络、请求速率、会话行为、浏览器指纹、cookie,以及位置是否保持一致。
住宅IP符合普通消费者流量的模式。零售商、搜索引擎或市场平台通常会接受来自家庭连接的请求,而对已知数据中心网段的请求则会立即进行质询。有些网站更进一步,向它们认为是自动化的流量显示错误或不完整的数据,因此IP类型也会影响您所采集数据的质量。
不过,仅靠IP本身是不够的。请求速度过快、缺少请求头或会话逻辑有误,仍然可能导致屏蔽。住宅代理改善的是网络信号,它们并不能取代良好的抓取实践。
住宅代理的用途
团队在需要可靠的本地化公开网络内容访问的任何场景中都会使用住宅代理:
- 网络抓取和市场调研。 从过滤服务器流量的网站采集产品列表、评论和公开数据。
- 价格监控。 以各市场客户所见的方式追踪竞争对手的价格和促销活动,这是电子商务中的核心任务。
- 广告验证。 检查广告是否在正确的位置和国家展示,并发现欺诈行为。
- SEO和SERP追踪。 查看各国或各城市呈现的搜索结果。
- 社交媒体管理。 运营多个账户,每个账户都使用自己固定的位置。
- 本地化测试。 检查网站、应用或结账流程在其他国家用户面前的表现。
- 安全与品牌保护。 以普通访客的视角调查钓鱼网站、假冒产品和欺诈行为。
何时不需要住宅代理
对于在宽容网站上进行的较轻量任务,住宅代理可能超出您的实际需求。如果网站不按网络来源过滤,并且数据不因位置而变化,数据中心代理或ISP代理通常更快且更便宜。正确的选择取决于目标网站、工作负载的形态,以及每次成功请求的价值。
选择住宅代理提供商时应关注什么
IP池规模是提供商宣传的第一个数字,但只有在实际生产环境中有效,庞大的网络才有意义。请关注以下几点:
- 实时覆盖率。 您所需国家中实际在线的IP数量,而不仅仅是IP池总量。在我们自己的基准测试中,Shifter在我们测量的16个网络中拥有最大的美国实时住宅IP池。
- 定位能力。 至少要有国家级定位,如果您的数据具有地方性,还需要城市和提供商网络定位。
- 会话控制。 轮换会话和固定会话能够轻松按请求设置。
- 并发性。 能为您所有的工作进程提供足够的并行连接。
- 集成能力。 支持标准的HTTP和SOCKS5,并采用用户名和密码认证,以便代理能够顺利接入您已有的工具。
- IP来源。 IP应来自同意共享其连接的用户,而不是来自被入侵的设备。
- 定价。 清晰的按GB计费方案,使成本与您采集的数据量相对应。可在我们的住宅代理定价页面比较各方案。
常见误解
“住宅代理只用于抓取。” 它们支持任何需要可靠本地化公开网络内容访问的工作流程,包括测试、广告检查、安全研究和监控。
“IP越多结果就越好。” 更大的IP池确实有帮助,但如果路由能力不足,或者缺少定位和会话控制功能,效果也不会好。
“住宅流量是不可见的。” 事实并非如此。网站仍然会分析行为。优质代理能改善网络信号,但杂乱或不真实的请求模式仍然会被标记。
总结
住宅代理为您的请求赋予真实家庭连接的IP,因此网站会在您选择的位置将它们当作普通访客对待。使用轮换会话来分散独立请求,使用固定会话来处理多步骤流程。当访问质量和本地准确性比原始带宽成本更重要时,请选择住宅代理,并根据实时覆盖率、定位能力、会话控制以及IP来源方式来评判提供商。