问一问现在有多少网络处于机器人墙之后,你会听到各种庞大的数字。但这些数字大多回答的是另一个问题。对于收集网络数据的团队来说,这种区别很重要,因为一个可能屏蔽你的网站和一个确实屏蔽你的网站,是两回事。
没有人做过普查,也无法做到:答案取决于具体页面、客户端和时刻。现有的是一系列从不同角度得出的测量结果。综合来看,它们给出的答案比任何单一的头条数字都更清晰。
三个不同的问题
| 问题 | 测量结果 | 样本范围 |
|---|---|---|
| 网站是否可能屏蔽你? | 33.1% 使用受监控的反向代理,28.5% 使用 Cloudflare | 所有网站(W3Techs,2026年11月5日) |
| 71% 使用 CDN,降至 35% | 前 1,000 和前 1,000 万网站(Web Almanac 2025) | |
| 是否已安装机器人防护? | 移动端 31.1%,桌面端超过 34% | HTTP Archive 中的网站(Web Almanac 2025) |
| 16.1% 运行着我们能检测到的机器人管理系统 | 653 个顶级网站首页(我们的测试) | |
| 是否真的会屏蔽? | 6.8% 到 15.2%,因浏览器而异 | 前 10,000 个首页(2026年2月和3月) |
| 5.3% 到 8.1%,跨八种爬虫 | 1,902 个热门落地页(2026年11月预印本) | |
| 9.0% 被屏蔽,9.8% 被质询 | 653 个顶级网站首页(我们的测试) |
从上往下读,这些数字在逐渐缩小。大约三分之一的网站可能对机器人发起质询,但在热门首页中,真正拒绝某个特定自动化客户端的大约只有十分之一。
这些样本群体各不相同,因此它们并不构成一个整齐的漏斗,而且顶级网站的数据也不能描述整个网络的长尾部分。即便如此,各个来源所指向的方向是一致的。
能力不等于执行
最常见的错误,是把 CDN 的市场份额当作屏蔽率来解读。一项针对前 10,000 个网站的研究,发表于 2026 年 6 月并在 ARES 2026 上展示,对此做了最清晰的检验。该研究指出”使用具备能力的服务商,并不意味着一定会主动检测”,它发现在至少一种测试条件下,37% 托管在 Cloudflare 上的网站出现了屏蔽。也就是说,这些网站中的大多数并没有屏蔽它测试的任何浏览器。
我们自己在 2026 年 10 月的测试也指向同样的结论。在同样的 653 个顶级网站首页中,36.9% 通过供应商 cookie 或请求头显示存在机器人防护或边缘安全供应商,但只有 16.1% 显示存在主动的机器人管理产品。来自 HTTP Archive 的机器人防护数字也需要谨慎看待,因为该类别中约一半是 reCAPTCHA,它往往只是表单上的一个小部件,而不是环绕整个网站的屏障。
首页测试遗漏了什么
这些屏蔽率可能偏低,原因有三。
质询可能以 200 状态码出现。 那项针对前 10,000 个网站的研究只把 403、429 和 503 响应计为屏蔽,而 11 月的预印本只计算了 403 和 429。以 200 状态码返回的质询页面不会被计入,因此真实的干扰程度更高。我们的测试确实计入了质询,其数量几乎与屏蔽数量相当。
屏蔽会随着深入页面而增加。 11 月的预印本发现,在每个爬虫至少抓取六个页面的网站中,Chromium 的拒绝率从首页的 0.2% 上升到第 2 到第 6 页的 10.4%。其他客户端上升幅度较小,有些甚至没有上升。只检查首页会让那些仅针对行为模式做出反应的网站显得比实际情况更友好。
客户端很关键。 那项针对前 10,000 个网站的研究发现,无头 Chromium 的屏蔽率为 15%,而其他配置约为 7%。在我们的测试中,把 Chrome 用户代理换成某个库的默认设置后,屏蔽率从 9.0% 升至 15.5%。无论是诚实地表明机器人身份,还是配置粗糙,都会付出被拒之门外的代价。
情况是否在加剧?
很可能是的,尽管没有简单的时间序列数据能说明这一点。最佳的长期信号来自 Common Crawl,它为每次抓取发布抓取结果。其被记录为拒绝的抓取份额(包括 robots.txt 拒绝以及 403)情况如下:
| 抓取时间 | 拒绝 | 成功 |
|---|---|---|
| 2019年11月 | 3.07% | 76.94% |
| 2022年12月 | 2.94% | 74.79% |
| 2025年12月 | 5.80% | 63.90% |
| 2026年10月 | 4.85% | 62.82% |
Common Crawl 将近期成功率的下降归因于更多网站禁止抓取或以 403 拒绝抓取,以及它在 2022 年引入的一种退避机制,该机制会跳过更多 URL。因此,这一下降并不全部来自屏蔽。这些是其抓取次数的占比,而非网站数量的占比,并且反映的是一个会自我标识身份并遵守 robots.txt 的爬虫的情况。
这背后的压力是真实存在的。Thales 的《2026年恶意机器人报告》指出,2025 年机器人流量占所有流量的 53% 以上,而 Cloudflare 报告称,截至 2025 年 12 月,非 AI 机器人产生了 44% 的 HTML 请求。这两项数据均来自各自供应商自己的网络,而且两家公司都销售机器人防御产品,但它们说明了为何越来越多的网站所有者开始启用这类工具。
对你的项目意味着什么
- 不要根据头条数字来制定计划。 “三分之一的网络”和”十分之一”都无法描述你的目标网站。在那项针对前 10,000 个网站的研究中,屏蔽行为是”由服务商驱动,而非由网站排名驱动”,因此两个相似的网站可能表现得截然不同。
- 测试你自己的列表。 我们的反机器人技术栈查询工具展示了单次请求能揭示出多少关于一个网站的信息。
- 测试首页之外的页面。 以你实际会使用的速度,遍历你真正需要访问的页面。
- 检查内容,而不只是状态码。 以 200 状态码返回却静默失败的情况,造成的损害比明显的屏蔽更大。
- 首先修正你的客户端。 正确地标识自己的身份,保持合理的速率,并维持会话的一致性。
如果某个网站把你的 IP 本身当作问题所在,比如因为它来自数据中心的 IP 段,住宅代理可以让你以消费者连接的身份查看公开页面。但它们并不会改变网站的规则,一个已经明确拒绝自动化访问的网站,依然是在拒绝。
结论
诚实的答案包含三个部分。大约三分之一的网站可能对机器人发起质询。真正主动这样做的网站要少得多,在热门首页中,大约十分之一会拒绝某个特定客户端。而真实的数字比任何已发布的屏蔽率都要高,因为质询和更深层页面的情况往往被低估。就规划而言,这意味着对于行为得当的客户端来说,大部分网络仍然是开放的,困难主要集中在局部,而对你的项目真正重要的数字,只有一个,那就是你在自己的目标网站上实测出来的数字。
来源与参考资料
- W3Techs,Cloudflare 使用统计(2026年11月5日):w3techs.com
- HTTP Archive,Web Almanac 2025,CDN 章节:almanac.httparchive.org
- HTTP Archive,Web Almanac 2025,安全章节:almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research(2026年6月):arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls(预印本,2026年11月):arxiv.org/abs/2611.06197
- Common Crawl,爬虫指标:commoncrawl.github.io
- Thales,《2026年恶意机器人报告》:cpl.thalesgroup.com
- Cloudflare Radar 2025 年度回顾:blog.cloudflare.com