llms.txtはAI検索において最も話題にされているファイルでありながら、最も実態が測定されていないものの一つだ。これはサイトのルートに置かれるMarkdownファイルで、AIツールに対してそのサイトが何であり、最も有用なページがどこにあるかを伝える。多くの人がその採用を勧めているが、Googleは無視してよいと述べている。検索での見え方をモニタリングするチームにとって、有用な問いはもっと単純だ。実際に誰が導入しているのか、ということだ。
2026年11月16日、我々はTrancoランキングの上位10,000ドメインを確認した。これはAIクローラーをブロックしているのは誰かの調査で使ったのと同じリストだ。以下がその結果である。
見出しの数字
| ドメイン数 | 割合 | |
|---|---|---|
| 確認した上位10,000ドメイン | 10,000 | |
| ウェブサイトを運営している(リクエストに応答した) | 7,865 | |
| 本物のllms.txtを持つ | 929 | 全体の9.3%、ウェブサイトの11.8% |
| llms-full.txtも持つ | 150 | llms.txtを持つもののうち16% |
2026年5月に同種のリストに対して行われたベンダーのスキャンでは、有効なファイルが586件、上位10,000の5.86%だった。手法はわずかに異なるが、方向性は明らかだ。6か月で採用率はおよそ半分増加した。
「200 OK」の応答の半分はllms.txtファイルではない
2,068ドメインが/llms.txtへのリクエストに200 OKステータスで応答した。しかし実際にllms.txtを配信していたのはそのうち半分未満、929件にとどまる。残りはホームページを返したり、成功を装ったエラーページを返したり、どこか別の場所へのリダイレクトを返したりしていた。また、仕様で必須とされているタイトルを欠いたプレーンテキストファイルも128件見つかった。
したがって、ステータスコードだけを数えると、採用率が2倍以上過大に見積もられることになる。我々は、テキストであってHTMLではないこと、リダイレクト後もllms.txtのアドレスにとどまっていること、仕様が「唯一必須のセクション」と呼ぶMarkdownのタイトルで始まっていることの3条件を満たす場合に限り、本物のファイルとしてカウントした。
大規模サイトと開発者向けサイトが先行している
| 順位 | ウェブサイト数 | llms.txtを持つ割合 |
|---|---|---|
| 上位100 | 73 | 12.3% |
| 上位1,000 | 733 | 15.8% |
| 1,001から5,000 | 3,048 | 12.4% |
| 5,001から10,000 | 4,084 | 10.7% |
ランキングの中で最も早い段階で導入したサイトには、Cloudflare、GitHub、Adobe、Samsung、Dropbox、PayPal、Shopify、Stripe、Cisco、Slackが含まれる。パターンとしては、開発者向けプラットフォームとソフトウェア企業が目立つ。つまり、人々がすでにAIコーディングツールに貼り付けているドキュメントを持つサイトだ。
ドメインの末尾を見ても同じ傾向が見える。.ioサイトの25.7%がllms.txtを持ち、.comサイトでは15.4%であるのに対し、.eduは2.5%、.jpは1.8%、.govは1.0%にとどまる。ドキュメント用プラットフォームがこの差の一因を説明している。Mintlifyは2024年末以降、自社がホストするドキュメントサイト向けにllms.txtを自動生成しており、Yoast SEOは2025年6月にWordPress向けにこれを追加した。
意外な発見:llms.txtを持つサイトはAIクローラーをほとんどブロックしない
我々は結果を、10月の調査で得たrobots.txtファイルのデータと突き合わせた。両グループはかなり異なる様相を示している。
| robots.txtでブロックされているAIクローラー | llms.txtを持つサイト | 持たないサイト |
|---|---|---|
| GPTBot (OpenAI) | 4.9% | 16.9% |
| ClaudeBot (Anthropic) | 4.2% | 15.7% |
| Google-Extended | 3.0% | 13.8% |
| CCBot (Common Crawl) | 6.5% | 18.0% |
| 少なくとも1つの学習用クローラー | 7.4% | 20.7% |
llms.txtを公開しているサイトは、AIの学習用クローラーをブロックする可能性がおよそ3分の1にとどまる。これは理にかなっている。llms.txtは一種の招待状であり、それを送る企業の多くは、AIツールに自社の製品を理解してもらいたいと考えているからだ。
一部のサイトは矛盾したシグナルを送っている。12のサイトがllms.txtを公開しながら、robots.txtでGPTBot、ClaudeBot、PerplexityBotをブロックしており、その中にはBloombergとDaily Mailが含まれる。robots.txtのデータは10月上旬時点のものなので、それ以降に変更された可能性もあるが、要点は変わらない。llms.txtはコンテンツを一覧化するものであり、許可を与えるものではない。どのファイルが許可を与えるのかについては、robots.txtとAIオプトアウトに関する我々のガイドで扱っている。
実際に読まれているのか
ここでは、採用の伸びが示唆するほど明るい状況ではない。
- Google検索は利用していない。 GoogleのAI機能に関するガイドは、「チャンク化」のような手法や、llms.txtのような不要なAIテキストファイルの作成は「無視してよい」としながら、それを利用する他のサービス向けに作成すること自体は「まったく問題ない」とも述べている。それ以前には、John Muellerがllms.txtをkeywordsメタタグに例えていた。
- Chromeは確認している。 LighthouseにはいまやllmsLlms.txtの監査項目があり、これを「ウェブサイトのコンテンツの機械可読な要約を提供するための新興の慣習」と説明している。ファイルが存在しない場合は該当なしと表示され、「現時点ではこのファイルの提供は任意であるため」とされている。
- クローラーが取得することはまれだ。 主要なAI企業で、自社のクローラーが他サイトのllms.txtファイルを読み込むと文書化しているところはない。Ahrefsのログ調査では、約38,000件のファイルのうち97%が、2026年5月中に一度もリクエストを受けていなかった。
今日、主な読み手はドキュメントを参照するAIコーディングアシスタントやエージェントであり、そこではページの整理されたリストが本当に役立っている。
これをどう活かすか
- ドキュメントや多数のページを持つ製品があるなら、導入する。 コストは低く、エージェントやコーディングツールは実際にこれを利用する。内容は短くまとめること。タイトル、1行の要約、そして最も有用なページへリンクするセクションだけでよい。
- 順位向上を期待しない。 llms.txtがGoogle検索やAI Overviewsに影響するという兆候はない。AIの見え方に実際に影響するものについては、AI Modeと順位トラッキングに関する我々のガイドで扱っており、レジデンシャルプロキシを使えば、各市場でAIの回答が自社をどう説明しているかを確認できる。
- 実在するものにする。
/llms.txtではプレーンテキストを配信すること、ホームページではないこと、そしてCMSの更新のたびに確認すること。我々が確認した「200 OK」応答の半分以上は、実際にはllms.txtファイルではなかった。 - シグナルの一貫性を保つ。 llms.txtがAIツールにページの読み込みを招いているなら、robots.txtが同じツールを締め出していないか、あるいはその逆になっていないかを確認すること。
- まず測定し、それから判断する。 サーバーログで
/llms.txtへのリクエストを監視すること。数か月経っても誰も取得していなければ、それが答えだ。
調査方法
2026年11月16日、我々はTrancoランキング(リストQ2K34)の上位10,000ドメインそれぞれについて、https://<domain>/llms.txtをリクエストし、失敗した場合はwww.付きのアドレスを試した。各アドレスに対して説明的なユーザーエージェントで1回のリクエストを行い、リダイレクトを追跡し、最大2MBまで読み込んだ。何らかのHTTPレスポンスを返したドメインを、ウェブサイトを運営しているものとしてカウントした。HTMLではなく、llms.txtのアドレスにとどまり、Markdownのタイトルで始まっているファイルを、本物のllms.txtとしてカウントした。robots.txtとの比較には、同じドメインに対して2026年10月6日に行った調査結果を用いている。
結論
上位10,000ウェブサイトのうち、約11分の1が現在本物のllms.txtを持っており、5月からおよそ半分増加している。これを牽引しているのは開発者向けプラットフォームと最大規模のサイトだ。こうしたサイトはAIクローラーをブロックする可能性が3分の1にとどまる。しかしGoogle検索はこのファイルを無視し、クローラーが取得することもまれであるため、llms.txtはSEOのてことしてではなく、AIツールやエージェントにとっての安価な利便性として扱うべきだ。
出典と参考資料
- llms.txtの提案と仕様: llmstxt.org
- Google Search Central, Optimizing for AI features in Search: developers.google.com
- Chrome Lighthouse, llms.txt audit: developer.chrome.com
- Search Engine Journal, Google says llms.txt comparable to keywords meta tag (2025年4月17日): searchenginejournal.com
- Ahrefs, llms.txt log study: ahrefs.com
- Thunderbit, llms.txt adoption in the Tranco top 10,000 (2026年5月): thunderbit.com
- Common Crawl, content analysis of llms.txt files (2026年8月31日): commoncrawl.org
- Mintlify, llms.txt support (2024年11月20日): mintlify.com
- Yoast SEO 25.3 release (2025年6月10日): yoast.com
- Tranco, list Q2K34: tranco-list.eu