独立 IP 数量超过地球上任何一家代理网络,背靠全球最大的住宅 IP 池。这就是 Shifter。独立 IP 数量超过任何一家代理网络,背靠全球最大的 IP 池。这就是 Shifter。

查看具体数据

网络流量中有多少是机器人?为什么各大报告数据不一致

机器人流量的估算值从 10% 到 53% 不等。我们将 Thales、Cloudflare、Akamai、Fastly、F5 和 Wikimedia 的报告并列对比,说明各自统计的口径,以及哪份更值得信赖。

数据科学 · 更新于2026年11月18日 · 2分钟阅读
机器人流量占比Thales53%Fastly49%Cloudflare,HTML 页面48%Akamai42%Wikimedia35%Cloudflare,所有请求31%F510%
一个问题,七种答案。每根 琥珀色 条形代表一份报告,而每份报告统计的内容各不相同。
知识
本页内容
  1. 各项数字对照
  2. 为什么数字不一致
  3. 几乎所有做测量的都在卖产品
  4. 其中有多少是 AI
  5. 该用哪个数字
  6. 这对数据团队意味着什么
  7. 结论
  8. 来源与参考资料

“机器人流量已超过人类”是科技圈被引用最多的统计之一,也是最不精确的之一。根据你读的报告不同,机器人占网络流量的比例可能是 10%、31%、42%、49% 或 53%。这些数字没有一个是错的,它们回答的是不同的问题,而这种差异对任何构建或防御机器人屏障的人都很重要。

我们整理了主要的已发布数据,逐一核对来源,并注明了每个数字究竟统计了什么。

各项数字对照

来源机器人占比统计对象时间段流量归属
Thales (Imperva)53%(40% 恶意,13% 良性)“观测到的网络流量”2025其客户的网站
Cloudflare约 48%(44% 非 AI 机器人,4.2% AI 机器人)HTML 页面请求2025其网络
Cloudflare31.2%所有应用请求2023年4月至2024年3月其网络
Fastly49%请求2026年1月其安全业务客户
Akamai42%“整体网络流量”2024年6月发布其平台
Wikimedia约 35%页面浏览量2025年初Wikipedia 及其姊妹站点
F5 Labs10.2%Web 与 API 事务2023年11月至2024年9月已在使用其机器人防护的客户

为什么数字不一致

它们统计的对象不同。 HTML 页面请求、全部请求、页面浏览量和事务,是不同的计量单位。人类访问一个页面可能触发几十个图片、脚本和 API 调用请求,而爬虫可能只抓取 HTML。Cloudflare 在同一家公司内部就体现了差距有多大:HTML 请求中约一半是机器人,但在全部应用流量中只有 31%。Fastly 发现,机器人占缓存响应请求的 47%,占到达源站请求的 60%。

它们测量的是自己的客户。 每家厂商看到的都是付费使用其服务的网站,这些网站并不是整个网络的抽样。HUMAN Security 明确表示其数据“并不代表互联网流量的全部”。F5 的 10.2% 来自已经在运行机器人防护的客户;F5 指出,没有这类防护的网站往往会看到高得多的比例。

它们对机器人的定义不同。 Thales 把 AI 爬虫与搜索引擎一并视为良性自动化。Cloudflare 将 AI 机器人和其他机器人分开报告。Fastly 决定“不把通用搜索引擎爬虫重新归类为 AI 机器人”。同一个请求,在不同报告里可能落入不同的类别。

它们只统计自己能识别的部分。 Thales 指出其分析“基于可检测的流量,即会表明自身身份或触发安全控制的系统”。Wikimedia 展示了这种方式会漏掉什么:2025 年它发现,一些专为规避检测而设计的机器人此前被算作了人类,重新分类之后,人类页面浏览量比上一年下降了约 8%。

数字变化很快。 Fastly 报告称,2025 年第三季度机器人约占请求的 29%,到 2026 年 1 月则为 49%。客户构成、检测能力和真实机器人活动的变化,都会影响同一个头条数字。

几乎所有做测量的都在卖产品

Thales、Cloudflare、Akamai、Fastly、F5 和 HUMAN 都在销售机器人管理产品。这并不意味着它们的数据有误,而且它们的网络看到的流量比其他任何人都多。但它们有发布大数字的动机,而且没有一家公开了足够的方法细节来复现结果。Wikimedia 是主要的例外:它是非营利组织,报告的是自己站点的数据,发现机器人占页面浏览量的约 35%,却占其资源消耗最高的流量的至少 65%。

其中有多少是 AI

比头条所暗示的要少,但增长最快。

来源AI 占比统计口径
Cloudflare4.2%2025 年 HTML 请求的平均占比
Akamai接近 1%其平台上机器人流量的占比
Fastly约 8%2026年1月 受欢迎的机器人流量的占比

增长数据更为陡峭。Cloudflare 观察到,2025 年全年,用于响应用户操作的 AI 爬取增长了 21 倍以上;HUMAN 测得自动化流量同比增长 23.51%,速度约为人类流量的八倍。我们的文章AI 智能体面临的机器人屏障介绍了网站如何应对。

该用哪个数字

如果你的问题是使用
页面加载中有多大比例是自动化的Cloudflare 的 HTML 占比,约一半
全部请求量中有多少是机器人Cloudflare 的 31% 或 Fastly 的月度数据,并注明日期
安全问题有多严重Thales 的恶意机器人占比 40%,作为厂商估计值
机器人给开放基础设施带来多少成本Wikimedia 的页面浏览量 35% 与重负载流量 65%
你自己的网站上发生了什么你自己的日志

引用数字时,务必同时注明单位和来源。“机器人占流量的 53%”是某家厂商针对其客户观测流量给出的数字,而不是对整个互联网的普查。如果报告没有给出单位或时间段,例如 Akamai 2024 年的发布,就应将其视为这组数据中最薄弱的一个。

这对数据团队意味着什么

这些报告存在的原因,也正是数据采集变得越来越难的原因:机器人管理如今无处不在,而且是由发布这些数字的同一批公司在调校。能够识别目标站点前端反机器人技术栈的团队可以提前规划,而那些表明自身身份、遵守 robots.txt 并保持较低请求速率的团队,最不容易被算作“恶意机器人”。住宅代理可以帮助合规的数据采集以本地访客的视角看到页面,但它们不会改变网站设定的规则。

结论

按不同的统计方式,机器人占网络请求的三分之一到一半之间,其中 AI 爬虫仍然只占个位数百分比,但增长很快。这些大型报告之所以不一致,是因为它们测量的计量单位、客户群体和定义各不相同,而且大多出自销售防护产品的公司。引用时请带上单位,把它们当作趋势参考而非普查结果,并且对于你自己的网站,请以你自己的日志为准。

来源与参考资料

  • Thales, 2026 Bad Bot Report (Imperva): imperva.com
  • Cloudflare, Radar 2025 Year in Review: blog.cloudflare.com
  • Cloudflare, Application Security report, 2024 update: blog.cloudflare.com
  • Fastly, Threat Insights Report, Q1 2026: learn.fastly.com
  • SiliconANGLE, Fastly report on bot traffic in Q3 2025(2025年12月18日): siliconangle.com
  • Akamai, bots compose 42% of web traffic(2024年6月25日): akamai.com
  • Akamai, AI bots threaten web-based business models(2025年11月4日): akamai.com
  • F5 Labs, 2025 Advanced Persistent Bots Report: f5.com
  • HUMAN Security, 2026 State of AI Traffic and Cyberthreat Benchmark: humansecurity.com
  • Wikimedia, How crawlers impact the operations of the Wikimedia projects(2025年4月1日): diff.wikimedia.org
  • Wikimedia, New user trends on Wikipedia(2025年10月17日): diff.wikimedia.org

常见问题

互联网流量中有多少比例是机器人?

这取决于统计的对象。Thales 的 2026 Bad Bot Report 显示,2025 年自动化流量占所观测网络流量的 53%。Cloudflare 发现,2025 年机器人产生了约一半的 HTML 页面请求,但此前测得的数字是占全部应用流量的 31%。Fastly 报告称,2026 年 1 月机器人占请求的 49%。一个站得住脚的说法是:根据统计口径不同,机器人大约占请求的三分之一到一半。

为什么不同的机器人流量报告给出的数字不一样?

因为它们统计的对象不同:HTML 页面请求、全部请求、页面浏览量或交易。它们测量的是各自客户的流量,而这因厂商而异。它们对 AI 爬虫和搜索引擎的分类也不同。此外,它们只能统计自己检测到的机器人,所以会躲避检测的机器人会被算作真人。

有多少网络流量来自 AI 爬虫?

仍然只占总量的一小部分。Cloudflare 测得 2025 年 AI 机器人平均占 HTML 请求的 4.2%,Akamai 则表示,AI 机器人约占其平台上机器人流量的 1%。不过增长很快:Cloudflare 报告称,2025 年面向用户操作的 AI 爬取增长了 21 倍以上。

机器人流量报告可靠吗?

它们有参考价值,但并非中立。几乎所有主要报告都出自销售机器人防护产品的公司,每份报告只测量自己客户的流量,也没有一份公开足够的方法说明以供复现。可以用它们判断趋势和数量级,而在为你自己的网站做决策时,应使用你自己的日志。

准备好开始了吗?

试用 Shifter 住宅代理,205M+ 个 IP,195+ 个国家,低至 $0.10/GB。

立即开始