代理按IP地址来源分类,主要类型为住宅代理、ISP代理、数据中心代理和移动代理。代理还可以按协议(HTTP、HTTPS或SOCKS5)、按会话(轮换或固定)、按访问方式(共享或独享)、按方向(正向或反向)以及按匿名级别(透明、匿名或精英)来分类。
这些标签是相互独立且可以叠加的。一个代理可以同时是住宅代理、轮换代理、SOCKS5代理和精英代理。IP来源是最重要的因素,因为它决定了网站如何看待你的流量,这也是为什么大多数采集公开数据的团队会从住宅代理开始,再根据需要添加其他类型。
本指南将逐一介绍每个类别,说明其实际含义以及适用场景。
代理类型一览
| 分类 | 类型 | 决定的内容 |
|---|---|---|
| IP来源 | 住宅、ISP、数据中心、移动 | 网站如何分类和信任你的流量 |
| 协议 | HTTP、HTTPS、SOCKS5 | 代理可以承载何种流量 |
| 会话 | 轮换、固定 | 请求之间IP是否变化 |
| 访问方式 | 共享、独享 | 还有谁在使用同一个IP |
| 方向 | 正向、反向 | 保护的是客户端还是服务器 |
| 匿名性 | 透明、匿名、精英 | 网站能了解到你的哪些信息 |
按IP来源划分的代理类型
这是大多数人询问代理类型时所指的分类方式。网站会查询IP地址的所有者,而这个结果会影响它对来自该IP的每一个请求的处理方式。
| 类型 | IP所有者 | 速度 | 网站看到的情况 | 典型用途 |
|---|---|---|---|---|
| 住宅 | 消费者ISP,真实家庭 | 中等,有波动 | 普通家庭访客 | 抓取受保护网站,本地结果 |
| ISP | 消费者ISP,托管于服务器 | 高,稳定 | 家庭互联网用户 | 长时间会话,账号操作 |
| 数据中心 | 托管和云服务公司 | 最高 | 服务器流量 | 容忍度高的网站,大批量 |
| 移动 | 移动运营商 | 较低,有波动 | 运营商网络上的手机 | 移动优先平台 |
住宅代理
住宅代理通过消费者互联网提供商分配给真实家庭连接的IP地址来转发你的请求。网站看到的是某个特定国家、城市和提供商网络下的普通家庭用户,而非服务器。
这就是为什么住宅代理是零售网站、搜索引擎、旅游网站和会过滤服务器流量的电商平台的默认选择。由于流量经过真实的家庭连接,其延迟比服务器更不稳定,套餐通常按GB计费。
Shifter的住宅网络拥有205M+个IP,覆盖195+个国家。你可以按国家、地区、城市或ASN进行定位,直接在代理用户名中设置,并可在三种IP池中选择:Full Geo、Country Geo和Non-Geo。
ISP代理
ISP代理使用注册在消费者互联网提供商名下的IP地址,但这些地址托管在服务器上而非家庭设备上。网站看到的是家庭互联网用户,而你获得的是服务器硬件的速度和稳定性。
使用Shifter的ISP代理,每个IP在整个计费周期内都会保持在你所选的城市和ISP(ASN)上。这使其非常适合登录会话、账号管理以及任何位置变化会显得可疑的任务。
数据中心代理
数据中心代理使用托管或云服务公司所拥有的IP。它从未被分配给某个家庭,而且这些公司使用的IP段是公开已知的,因此网站可以识别出这些流量来自服务器。
数据中心代理是速度最快、价格最便宜的类型,在不按网络来源过滤的网站上效果良好。但在审核更严格的网站上,它们很快就会被质疑或封锁。Shifter不销售数据中心代理;如果你想了解全貌,请阅读我们的指南数据中心代理是什么以及何时适用。
移动代理
移动代理通过移动运营商网络转发流量,也就是手机使用的3G、4G或5G网络。运营商会让大量用户共用少数几个公网IP,因此一个移动IP地址可能同时代表许多真实用户。网站在封锁这些IP时会非常谨慎,因为这样做也会封掉真实客户。
移动代理主要用于移动优先的应用和社交平台。按每GB计算,它们通常是价格最高的类型,速度也会随网络状况波动。Shifter不销售移动代理;对于大多数网络数据采集工作来说,住宅IP以更低的成本就能覆盖同样的需求。
按协议划分的代理类型
协议决定了代理能够承载何种流量,以及你的工具如何与之连接。
HTTP代理处理网页流量。它们能理解HTTP请求,并可以读取或修改请求头,这对于过滤和缓存很有用。
HTTPS代理承载加密的网页流量。客户端通过CONNECT方法在代理中建立一条隧道,因此代理只是转发加密数据,而不会读取页面内容。实际上,大多数服务商会在同一个端点上同时提供HTTP和HTTPS。
SOCKS5代理工作在更底层,几乎可以承载任何TCP流量,在支持的情况下也包括UDP。它们不会解析数据内容,因此非常适合非网页类工具、自定义客户端以及某些自动化场景。
Shifter通过一个网关p.shifter.io:443同时支持HTTP(S)和SOCKS5,并使用用户名和密码进行身份验证。如需对比参考,请查看HTTP与SOCKS5代理对比。
按会话划分的代理类型:轮换与固定
会话行为与IP来源是两个独立的选择。住宅代理既可以轮换IP,也可以保持固定IP,这取决于你的配置方式。
轮换代理会在每次请求或每隔一段设定时间就分配一个新的IP。流量分散在一个庞大的IP池中,因此没有哪个单独的地址会因为承载过多请求而变得显眼。这适用于抓取、价格监控和SERP跟踪等每个请求相互独立的场景。
固定会话会在设定的时间内保持同一个IP不变。登录、购物车、分页结果以及任何多步骤流程都需要它,因为如果一个会话在中途跳转到不同的位置,看起来就像账号被盗用一样。
在Shifter中,住宅流量可以按请求轮换。若想改为保持固定IP,可以在用户名中添加会话ID和持续时间,格式为sid-<id>和ttl-<seconds>。我们关于轮换代理工作原理的指南对相关设置有更详细的说明。
按访问方式划分的代理类型:共享与独享
共享代理会被多个客户同时使用。它们价格更低,但你也会因为其他用户的行为而受到影响。如果有人使得某个地址在某个网站上被标记,你也会受到牵连。
独享代理在一段时间内分配给单一客户使用。你能够掌控该地址上的全部流量,这使其信誉更加可预测。这一点对于账号相关的工作尤为重要,因为IP的历史记录会一直跟随它。
轮换住宅IP池的工作方式有所不同。每次请求或会话都会从一个非常庞大的IP池中抽取地址,因此关键不在于谁拥有某个IP,而在于服务商对IP池质量的管理水平。
正向代理与反向代理
正向代理位于客户端前方。你的应用程序将请求发送给代理,代理再以自己的IP将请求发送给网站。本指南中迄今为止介绍的所有类型,从住宅代理到移动代理,都属于正向代理。
反向代理位于Web服务器前方。访客连接的是它,而不是源服务器,它再将请求转发到内部。公司使用反向代理来实现负载均衡、缓存、TLS终止以及抵御攻击。Nginx、HAProxy和CDN边缘网络就是常见的例子。
如果你购买代理是为了采集数据、测试网站或管理账号,你需要的是正向代理。反向代理则是你为自己的网站所运行的基础设施。
按匿名级别划分的代理类型
匿名级别描述的是代理在发送请求时会透露哪些信息。
- 透明代理会透露你的真实IP,通常通过X-Forwarded-For等请求头传递,并且会表明有代理在使用中。学校、办公室和公共网络会用它们来进行内容过滤和缓存,而非出于隐私目的。
- 匿名代理会隐藏你的真实IP,但可能仍会添加表明使用了代理的请求头。网站无法得知你是谁,但能看出你在使用代理。
- 精英代理,也称为高匿代理,会隐藏你的IP,且不添加任何代理相关的请求头。请求看起来就像是直接来自该代理的IP。
商业化的住宅和ISP代理通常都是精英级别。需要注意的是,IP层面的匿名性只是其中一个信号。网站还会关注请求频率、请求头、cookie以及浏览器指纹等信息。
如何选择合适的代理类型
从目标网站出发,再逐一考虑其他分类:
- 该网站是否会过滤服务器流量? 如果是,选择住宅或ISP代理。如果不是,数据中心代理可能就足够了。
- 任务是否需要会话? 对于登录和多步骤流程,使用固定住宅会话或ISP代理。对于相互独立的请求,使用轮换代理。
- 你在使用哪些工具? 大多数爬虫和浏览器都支持HTTP(S)。如果是非网页流量或工具有特定要求,选择SOCKS5。
- 数据的本地化程度如何? 如果结果会因城市或提供商而变化,你就需要按城市或ASN进行定位。
许多团队会结合使用多种类型。一个价格监控系统可能使用轮换住宅IP进行数据采集,同时使用几个ISP代理登录其所需的仪表盘。一旦确定了所需的代理类型,我们关于如何选择代理服务的指南将介绍如何比较不同的服务商。
总结
代理可以按IP来源、协议、会话、访问方式、方向以及匿名级别进行分类。其中IP来源对结果的影响最大:住宅和ISP的IP看起来像家庭互联网用户,数据中心的IP看起来像服务器,而移动IP看起来像手机。将合适的来源与合适的会话类型和协议搭配起来,大多数代理相关的决策就会变得简单明了。