截至2026年10月7日,Shifter拥有规模最大的美国实时IP池,超过Oxylabs和Bright Data,而成本只是其一小部分。Shifter 现在拥有数量最多的美国活跃 IP 资源池

查看基准测试

谁有llms.txt?我们检查了排名前10000的网站

我们在2026年11月检查了排名前10000的网站的llms.txt情况。9.3%拥有真正的llms.txt,采用率正在快速上升,而且这些网站很少屏蔽AI爬虫。

SEO与搜索 · 更新于2026年11月16日 · 3分钟阅读
排名前10,000的网站9.3%拥有真实的llms.txt文件5.9%于2026年5月
排名前10,000的网站中,每11个就有1个拥有真实的llms.txt文件。每个琥珀色方格约代表1%。
知识
本页内容
  1. 核心数据
  2. 一半的“200 OK”响应并非 llms.txt 文件
  3. 大型网站和开发者网站领先
  4. 意外发现:拥有 llms.txt 的网站很少屏蔽 AI 爬虫
  5. 真的有人读它吗?
  6. 该怎么做
  7. 我们是如何做的
  8. 结论
  9. 来源与参考

llms.txt 是 AI 搜索领域讨论最多的文件之一,也是最少被实际衡量的文件之一。它是网站根目录下的一个 Markdown 文件,用于告诉 AI 工具该网站是什么,以及其最有用的页面在哪里。很多人推荐使用它;Google 则表示你可以忽略它。对于那些监测搜索可见性的团队来说,更有用的问题很简单:到底有多少网站真的拥有它?

2026 年 11 月 16 日,我们检查了 Tranco 排名前 10,000 个域名,这与我们在谁在屏蔽 AI 爬虫研究中使用的列表相同。以下是我们的发现。

核心数据

域名数占比
检查的前 10,000 个域名10,000
正在运营网站(回应了我们的请求)7,865
拥有真实 llms.txt929占全部的 9.3%,占网站的 11.8%
同时拥有 llms-full.txt150占拥有 llms.txt 网站的 16%

2026 年 5 月,某供应商对同类列表进行的扫描发现了 586 个有效文件,占前 10,000 名的 5.86%。虽然方法略有不同,但趋势很明确:六个月内采用率上升了约一半。

一半的“200 OK”响应并非 llms.txt 文件

2,068 个域名对我们请求的 /llms.txt 返回了 200 OK 状态。但其中只有不到一半,即 929 个,真正提供了 llms.txt。其余的要么返回了主页,要么返回了伪装成成功响应的错误页面,要么重定向到了别处。我们还发现了 128 个没有标题的纯文本文件,而规范是要求标题的。

因此,仅统计状态码会将采用率夸大一倍以上。我们只有在文件是纯文本而非 HTML、在重定向后仍停留在 llms.txt 地址、并以规范所称的“唯一必需部分”——Markdown 标题开头的情况下,才将其计为真实文件。

大型网站和开发者网站领先

排名网站数拥有 llms.txt
前 100 名7312.3%
前 1,000 名73315.8%
1,001 至 5,000 名3,04812.4%
5,001 至 10,000 名4,08410.7%

在排名中最早采用该文件的网站包括 Cloudflare、GitHub、Adobe、Samsung、Dropbox、PayPal、Shopify、Stripe、Cisco 和 Slack。这一模式集中在开发者平台和软件公司:这些网站的文档本来就常被人复制粘贴进 AI 编程工具中。

域名后缀也反映了同样的趋势。25.7% 的 .io 网站拥有 llms.txt,15.4% 的 .com 网站拥有,而 .edu 为 2.5%,.jp 为 1.8%,.gov 仅为 1.0%。文档平台可以解释部分原因:Mintlify 自 2024 年末起为其托管的文档网站自动生成 llms.txt,Yoast SEO 也在 2025 年 6 月为 WordPress 添加了该功能。

意外发现:拥有 llms.txt 的网站很少屏蔽 AI 爬虫

我们将这些结果与我们 10 月研究中的 robots.txt 文件进行了比对。两组数据差异明显。

robots.txt 中屏蔽的 AI 爬虫拥有 llms.txt 的网站没有的网站
GPTBot (OpenAI)4.9%16.9%
ClaudeBot (Anthropic)4.2%15.7%
Google-Extended3.0%13.8%
CCBot (Common Crawl)6.5%18.0%
至少屏蔽一个训练爬虫7.4%20.7%

发布 llms.txt 的网站屏蔽 AI 训练爬虫的可能性大约只有三分之一。这是有道理的:llms.txt 本质上是一种邀请,而发出邀请的公司大多希望 AI 工具能理解它们的产品。

少数网站发出的信号则相互矛盾。有十二个网站在发布 llms.txt 的同时,在 robots.txt 中屏蔽了 GPTBot、ClaudeBot 和 PerplexityBot,其中包括 Bloomberg 和 Daily Mail。robots.txt 的数据来自 10 月初,此后部分网站或许有所变化,但这一点依然成立:llms.txt 列出的是内容,并不代表授权许可。我们关于robots.txt 与 AI 退出选项的指南详细介绍了真正能授予权限的文件。

真的有人读它吗?

在这一点上,情况比采用曲线所暗示的要逊色得多。

  • Google 搜索不使用它。 Google 关于 AI 功能的指南表示,你“可以忽略诸如‘分块’内容、创建不必要的 AI 文本文件(如 llms.txt)之类的策略”,同时也指出,为使用这些文件的其他服务创建它“完全没问题”。此前,John Mueller 曾将 llms.txt 比作关键词元标签。
  • Chrome 会检查它。 Lighthouse 现在有一项 llms.txt 审计,将其描述为“一种新兴惯例,用于提供网站内容的机器可读摘要”。如果文件缺失,会被标记为不适用,“因为目前提供该文件是可选的”。
  • 爬虫很少抓取它。 没有任何主要 AI 公司记录其爬虫会读取其他网站的 llms.txt 文件。在 Ahrefs 的日志研究中,2026 年 5 月约 38,000 个文件中有 97% 根本没有收到任何请求。

目前主要的读者是指向文档的 AI 编程助手和代理,在这种场景下,一份清晰的页面列表确实很有用。

该怎么做

  1. 如果你有文档或拥有众多页面的产品,添加一个 llms.txt。 成本很低,而且代理和编程工具确实会使用它。保持简洁:一个标题、一行摘要,以及链接到你最有用页面的几个部分。
  2. 不要指望排名提升。 没有证据表明 llms.txt 会影响 Google 搜索或 AI Overviews。我们关于AI Mode 与排名追踪的指南介绍了真正能影响 AI 可见性的因素,而住宅代理可以让你查看 AI 在各个市场中如何描述你。
  3. 确保它是真实有效的。 在 /llms.txt 地址提供纯文本,而不是你的主页,并在每次 CMS 更新后检查一次。我们看到的“200 OK”响应中,超过一半并非真正的 llms.txt 文件。
  4. 保持信号一致。 如果你的 llms.txt 邀请 AI 工具读取你的页面,就要确认 robots.txt 没有将同样的工具拒之门外,反之亦然。
  5. 先衡量,再决定。 关注你的服务器日志中对 /llms.txt 的请求情况。如果几个月后仍无人抓取,那你就有答案了。

我们是如何做的

2026 年 11 月 16 日,我们对 Tranco 排名前 10,000 个域名中的每一个请求了 https://<domain>/llms.txt,若首次请求失败则尝试 www. 地址。我们对每个地址仅发送一次请求,使用描述性的用户代理,跟随重定向,并最多读取 2 MB 内容。只要域名返回了任意 HTTP 响应,就被计为正在运营网站。只有当文件不是 HTML、在重定向后仍停留在 llms.txt 地址、并以 Markdown 标题开头时,才被计为真实的 llms.txt。robots.txt 的比对数据来自我们在 2026 年 10 月 6 日对相同域名所做的扫描。

结论

目前前 10,000 个网站中约有十一分之一拥有真实的 llms.txt,较 5 月上升了约一半,领先的是开发者平台和最大型的网站。这些网站屏蔽 AI 爬虫的可能性要低三倍。但 Google 搜索会忽略该文件,爬虫也很少抓取它,因此应将 llms.txt 视为面向 AI 工具和代理的一种低成本便利手段,而非 SEO 杠杆。

来源与参考

常见问题

有多少网站拥有llms.txt文件?

在我们2026年11月对Tranco排名前10,000个域名的检查中,929个拥有真正的llms.txt文件:占所有域名的9.3%,占运行网站的域名的11.8%。在前1,000名中,这一比例为15.8%。

Google使用llms.txt吗?

在搜索方面不使用。Google的AI功能指南指出,可以忽略诸如创建不必要的AI文本文件(例如llms.txt)之类的做法,同时补充说,为使用它们的其他服务创建这些文件是完全可以的。Chrome的Lighthouse确实包含一项llms.txt审核,在文件缺失时会标记为不适用。

AI爬虫会读取llms.txt吗?

到目前为止很少。没有主要的AI公司记录其爬虫会读取其他网站的llms.txt文件,Ahrefs的一项日志研究发现,在2026年5月,约38,000个llms.txt文件中有97%根本没有收到任何请求。

我的网站应该拥有llms.txt吗?

它成本很低,并且有助于AI代理和编程工具找到你的关键页面,这也是文档类网站在采用率上领先的原因。不要指望它会影响在Google中的排名,也不要用它来代替robots.txt:它列出内容,但不授予或拒绝访问权限。

准备好开始了吗?

试用 Shifter 住宅代理,205M+ 个 IP,195+ 个国家,低至 $0.10/GB。

立即开始