“机器人流量已超过人类”是科技圈被引用最多的统计之一,也是最不精确的之一。根据你读的报告不同,机器人占网络流量的比例可能是 10%、31%、42%、49% 或 53%。这些数字没有一个是错的,它们回答的是不同的问题,而这种差异对任何构建或防御机器人屏障的人都很重要。
我们整理了主要的已发布数据,逐一核对来源,并注明了每个数字究竟统计了什么。
各项数字对照
| 来源 | 机器人占比 | 统计对象 | 时间段 | 流量归属 |
|---|---|---|---|---|
| Thales (Imperva) | 53%(40% 恶意,13% 良性) | “观测到的网络流量” | 2025 | 其客户的网站 |
| Cloudflare | 约 48%(44% 非 AI 机器人,4.2% AI 机器人) | HTML 页面请求 | 2025 | 其网络 |
| Cloudflare | 31.2% | 所有应用请求 | 2023年4月至2024年3月 | 其网络 |
| Fastly | 49% | 请求 | 2026年1月 | 其安全业务客户 |
| Akamai | 42% | “整体网络流量” | 2024年6月发布 | 其平台 |
| Wikimedia | 约 35% | 页面浏览量 | 2025年初 | Wikipedia 及其姊妹站点 |
| F5 Labs | 10.2% | Web 与 API 事务 | 2023年11月至2024年9月 | 已在使用其机器人防护的客户 |
为什么数字不一致
它们统计的对象不同。 HTML 页面请求、全部请求、页面浏览量和事务,是不同的计量单位。人类访问一个页面可能触发几十个图片、脚本和 API 调用请求,而爬虫可能只抓取 HTML。Cloudflare 在同一家公司内部就体现了差距有多大:HTML 请求中约一半是机器人,但在全部应用流量中只有 31%。Fastly 发现,机器人占缓存响应请求的 47%,占到达源站请求的 60%。
它们测量的是自己的客户。 每家厂商看到的都是付费使用其服务的网站,这些网站并不是整个网络的抽样。HUMAN Security 明确表示其数据“并不代表互联网流量的全部”。F5 的 10.2% 来自已经在运行机器人防护的客户;F5 指出,没有这类防护的网站往往会看到高得多的比例。
它们对机器人的定义不同。 Thales 把 AI 爬虫与搜索引擎一并视为良性自动化。Cloudflare 将 AI 机器人和其他机器人分开报告。Fastly 决定“不把通用搜索引擎爬虫重新归类为 AI 机器人”。同一个请求,在不同报告里可能落入不同的类别。
它们只统计自己能识别的部分。 Thales 指出其分析“基于可检测的流量,即会表明自身身份或触发安全控制的系统”。Wikimedia 展示了这种方式会漏掉什么:2025 年它发现,一些专为规避检测而设计的机器人此前被算作了人类,重新分类之后,人类页面浏览量比上一年下降了约 8%。
数字变化很快。 Fastly 报告称,2025 年第三季度机器人约占请求的 29%,到 2026 年 1 月则为 49%。客户构成、检测能力和真实机器人活动的变化,都会影响同一个头条数字。
几乎所有做测量的都在卖产品
Thales、Cloudflare、Akamai、Fastly、F5 和 HUMAN 都在销售机器人管理产品。这并不意味着它们的数据有误,而且它们的网络看到的流量比其他任何人都多。但它们有发布大数字的动机,而且没有一家公开了足够的方法细节来复现结果。Wikimedia 是主要的例外:它是非营利组织,报告的是自己站点的数据,发现机器人占页面浏览量的约 35%,却占其资源消耗最高的流量的至少 65%。
其中有多少是 AI
比头条所暗示的要少,但增长最快。
| 来源 | AI 占比 | 统计口径 |
|---|---|---|
| Cloudflare | 4.2% | 2025 年 HTML 请求的平均占比 |
| Akamai | 接近 1% | 其平台上机器人流量的占比 |
| Fastly | 约 8% | 2026年1月 受欢迎的机器人流量的占比 |
增长数据更为陡峭。Cloudflare 观察到,2025 年全年,用于响应用户操作的 AI 爬取增长了 21 倍以上;HUMAN 测得自动化流量同比增长 23.51%,速度约为人类流量的八倍。我们的文章AI 智能体面临的机器人屏障介绍了网站如何应对。
该用哪个数字
| 如果你的问题是 | 使用 |
|---|---|
| 页面加载中有多大比例是自动化的 | Cloudflare 的 HTML 占比,约一半 |
| 全部请求量中有多少是机器人 | Cloudflare 的 31% 或 Fastly 的月度数据,并注明日期 |
| 安全问题有多严重 | Thales 的恶意机器人占比 40%,作为厂商估计值 |
| 机器人给开放基础设施带来多少成本 | Wikimedia 的页面浏览量 35% 与重负载流量 65% |
| 你自己的网站上发生了什么 | 你自己的日志 |
引用数字时,务必同时注明单位和来源。“机器人占流量的 53%”是某家厂商针对其客户观测流量给出的数字,而不是对整个互联网的普查。如果报告没有给出单位或时间段,例如 Akamai 2024 年的发布,就应将其视为这组数据中最薄弱的一个。
这对数据团队意味着什么
这些报告存在的原因,也正是数据采集变得越来越难的原因:机器人管理如今无处不在,而且是由发布这些数字的同一批公司在调校。能够识别目标站点前端反机器人技术栈的团队可以提前规划,而那些表明自身身份、遵守 robots.txt 并保持较低请求速率的团队,最不容易被算作“恶意机器人”。住宅代理可以帮助合规的数据采集以本地访客的视角看到页面,但它们不会改变网站设定的规则。
结论
按不同的统计方式,机器人占网络请求的三分之一到一半之间,其中 AI 爬虫仍然只占个位数百分比,但增长很快。这些大型报告之所以不一致,是因为它们测量的计量单位、客户群体和定义各不相同,而且大多出自销售防护产品的公司。引用时请带上单位,把它们当作趋势参考而非普查结果,并且对于你自己的网站,请以你自己的日志为准。
来源与参考资料
- Thales, 2026 Bad Bot Report (Imperva): imperva.com
- Cloudflare, Radar 2025 Year in Review: blog.cloudflare.com
- Cloudflare, Application Security report, 2024 update: blog.cloudflare.com
- Fastly, Threat Insights Report, Q1 2026: learn.fastly.com
- SiliconANGLE, Fastly report on bot traffic in Q3 2025(2025年12月18日): siliconangle.com
- Akamai, bots compose 42% of web traffic(2024年6月25日): akamai.com
- Akamai, AI bots threaten web-based business models(2025年11月4日): akamai.com
- F5 Labs, 2025 Advanced Persistent Bots Report: f5.com
- HUMAN Security, 2026 State of AI Traffic and Cyberthreat Benchmark: humansecurity.com
- Wikimedia, How crawlers impact the operations of the Wikimedia projects(2025年4月1日): diff.wikimedia.org
- Wikimedia, New user trends on Wikipedia(2025年10月17日): diff.wikimedia.org