llms.txt 是 AI 搜索领域讨论最多的文件之一,也是最少被实际衡量的文件之一。它是网站根目录下的一个 Markdown 文件,用于告诉 AI 工具该网站是什么,以及其最有用的页面在哪里。很多人推荐使用它;Google 则表示你可以忽略它。对于那些监测搜索可见性的团队来说,更有用的问题很简单:到底有多少网站真的拥有它?
2026 年 11 月 16 日,我们检查了 Tranco 排名前 10,000 个域名,这与我们在谁在屏蔽 AI 爬虫研究中使用的列表相同。以下是我们的发现。
核心数据
| 域名数 | 占比 | |
|---|---|---|
| 检查的前 10,000 个域名 | 10,000 | |
| 正在运营网站(回应了我们的请求) | 7,865 | |
| 拥有真实 llms.txt | 929 | 占全部的 9.3%,占网站的 11.8% |
| 同时拥有 llms-full.txt | 150 | 占拥有 llms.txt 网站的 16% |
2026 年 5 月,某供应商对同类列表进行的扫描发现了 586 个有效文件,占前 10,000 名的 5.86%。虽然方法略有不同,但趋势很明确:六个月内采用率上升了约一半。
一半的“200 OK”响应并非 llms.txt 文件
2,068 个域名对我们请求的 /llms.txt 返回了 200 OK 状态。但其中只有不到一半,即 929 个,真正提供了 llms.txt。其余的要么返回了主页,要么返回了伪装成成功响应的错误页面,要么重定向到了别处。我们还发现了 128 个没有标题的纯文本文件,而规范是要求标题的。
因此,仅统计状态码会将采用率夸大一倍以上。我们只有在文件是纯文本而非 HTML、在重定向后仍停留在 llms.txt 地址、并以规范所称的“唯一必需部分”——Markdown 标题开头的情况下,才将其计为真实文件。
大型网站和开发者网站领先
| 排名 | 网站数 | 拥有 llms.txt |
|---|---|---|
| 前 100 名 | 73 | 12.3% |
| 前 1,000 名 | 733 | 15.8% |
| 1,001 至 5,000 名 | 3,048 | 12.4% |
| 5,001 至 10,000 名 | 4,084 | 10.7% |
在排名中最早采用该文件的网站包括 Cloudflare、GitHub、Adobe、Samsung、Dropbox、PayPal、Shopify、Stripe、Cisco 和 Slack。这一模式集中在开发者平台和软件公司:这些网站的文档本来就常被人复制粘贴进 AI 编程工具中。
域名后缀也反映了同样的趋势。25.7% 的 .io 网站拥有 llms.txt,15.4% 的 .com 网站拥有,而 .edu 为 2.5%,.jp 为 1.8%,.gov 仅为 1.0%。文档平台可以解释部分原因:Mintlify 自 2024 年末起为其托管的文档网站自动生成 llms.txt,Yoast SEO 也在 2025 年 6 月为 WordPress 添加了该功能。
意外发现:拥有 llms.txt 的网站很少屏蔽 AI 爬虫
我们将这些结果与我们 10 月研究中的 robots.txt 文件进行了比对。两组数据差异明显。
| robots.txt 中屏蔽的 AI 爬虫 | 拥有 llms.txt 的网站 | 没有的网站 |
|---|---|---|
| GPTBot (OpenAI) | 4.9% | 16.9% |
| ClaudeBot (Anthropic) | 4.2% | 15.7% |
| Google-Extended | 3.0% | 13.8% |
| CCBot (Common Crawl) | 6.5% | 18.0% |
| 至少屏蔽一个训练爬虫 | 7.4% | 20.7% |
发布 llms.txt 的网站屏蔽 AI 训练爬虫的可能性大约只有三分之一。这是有道理的:llms.txt 本质上是一种邀请,而发出邀请的公司大多希望 AI 工具能理解它们的产品。
少数网站发出的信号则相互矛盾。有十二个网站在发布 llms.txt 的同时,在 robots.txt 中屏蔽了 GPTBot、ClaudeBot 和 PerplexityBot,其中包括 Bloomberg 和 Daily Mail。robots.txt 的数据来自 10 月初,此后部分网站或许有所变化,但这一点依然成立:llms.txt 列出的是内容,并不代表授权许可。我们关于robots.txt 与 AI 退出选项的指南详细介绍了真正能授予权限的文件。
真的有人读它吗?
在这一点上,情况比采用曲线所暗示的要逊色得多。
- Google 搜索不使用它。 Google 关于 AI 功能的指南表示,你“可以忽略诸如‘分块’内容、创建不必要的 AI 文本文件(如 llms.txt)之类的策略”,同时也指出,为使用这些文件的其他服务创建它“完全没问题”。此前,John Mueller 曾将 llms.txt 比作关键词元标签。
- Chrome 会检查它。 Lighthouse 现在有一项 llms.txt 审计,将其描述为“一种新兴惯例,用于提供网站内容的机器可读摘要”。如果文件缺失,会被标记为不适用,“因为目前提供该文件是可选的”。
- 爬虫很少抓取它。 没有任何主要 AI 公司记录其爬虫会读取其他网站的 llms.txt 文件。在 Ahrefs 的日志研究中,2026 年 5 月约 38,000 个文件中有 97% 根本没有收到任何请求。
目前主要的读者是指向文档的 AI 编程助手和代理,在这种场景下,一份清晰的页面列表确实很有用。
该怎么做
- 如果你有文档或拥有众多页面的产品,添加一个 llms.txt。 成本很低,而且代理和编程工具确实会使用它。保持简洁:一个标题、一行摘要,以及链接到你最有用页面的几个部分。
- 不要指望排名提升。 没有证据表明 llms.txt 会影响 Google 搜索或 AI Overviews。我们关于AI Mode 与排名追踪的指南介绍了真正能影响 AI 可见性的因素,而住宅代理可以让你查看 AI 在各个市场中如何描述你。
- 确保它是真实有效的。 在
/llms.txt地址提供纯文本,而不是你的主页,并在每次 CMS 更新后检查一次。我们看到的“200 OK”响应中,超过一半并非真正的 llms.txt 文件。 - 保持信号一致。 如果你的 llms.txt 邀请 AI 工具读取你的页面,就要确认 robots.txt 没有将同样的工具拒之门外,反之亦然。
- 先衡量,再决定。 关注你的服务器日志中对
/llms.txt的请求情况。如果几个月后仍无人抓取,那你就有答案了。
我们是如何做的
2026 年 11 月 16 日,我们对 Tranco 排名前 10,000 个域名中的每一个请求了 https://<domain>/llms.txt,若首次请求失败则尝试 www. 地址。我们对每个地址仅发送一次请求,使用描述性的用户代理,跟随重定向,并最多读取 2 MB 内容。只要域名返回了任意 HTTP 响应,就被计为正在运营网站。只有当文件不是 HTML、在重定向后仍停留在 llms.txt 地址、并以 Markdown 标题开头时,才被计为真实的 llms.txt。robots.txt 的比对数据来自我们在 2026 年 10 月 6 日对相同域名所做的扫描。
结论
目前前 10,000 个网站中约有十一分之一拥有真实的 llms.txt,较 5 月上升了约一半,领先的是开发者平台和最大型的网站。这些网站屏蔽 AI 爬虫的可能性要低三倍。但 Google 搜索会忽略该文件,爬虫也很少抓取它,因此应将 llms.txt 视为面向 AI 工具和代理的一种低成本便利手段,而非 SEO 杠杆。
来源与参考
- llms.txt 提案与规范: llmstxt.org
- Google Search Central,《在搜索中针对 AI 功能进行优化》: developers.google.com
- Chrome Lighthouse,llms.txt 审计: developer.chrome.com
- Search Engine Journal,《Google 称 llms.txt 可与关键词元标签相提并论》(2025 年 4 月 17 日): searchenginejournal.com
- Ahrefs,llms.txt 日志研究: ahrefs.com
- Thunderbit,《Tranco 前 10,000 名中 llms.txt 的采用情况》(2026 年 5 月): thunderbit.com
- Common Crawl,《llms.txt 文件内容分析》(2026 年 8 月 31 日): commoncrawl.org
- Mintlify,llms.txt 支持(2024 年 11 月 20 日): mintlify.com
- Yoast SEO 25.3 版本发布(2025 年 6 月 10 日): yoast.com
- Tranco,列表 Q2K34: tranco-list.eu