2026年10月7日時点で、ShifterはOxylabsやBright Dataを上回る、最大規模の米国ライブIPプールを保有しており、しかもコストはその一部で済みます。Shifterは現在、稼働中の米国IPの中で最大のプールを保有しています

ベンチマークを見る

llms.txtを持っているのは誰か?上位10,000サイトを調査した

2026年11月に上位10,000のウェブサイトを対象にllms.txtを調査した。9.3%が本物のllms.txtを持ち、導入は急速に進んでおり、それらのサイトはAIクローラーをブロックすることがほとんどない。

SEO・検索 · 2026年11月16日に更新 · 2分で読めます
上位10,000のウェブサイト9.3%実際のllms.txtを持っています5.9%2026年5月に
上位10,000サイトの11サイトに1サイトが実際のllms.txtを持っています。アンバーの各マスは約1%を表します。
ナレッジ
このページについて
  1. 見出しの数字
  2. 「200 OK」の応答の半分はllms.txtファイルではない
  3. 大規模サイトと開発者向けサイトが先行している
  4. 意外な発見:llms.txtを持つサイトはAIクローラーをほとんどブロックしない
  5. 実際に読まれているのか
  6. これをどう活かすか
  7. 調査方法
  8. 結論
  9. 出典と参考資料

llms.txtはAI検索において最も話題にされているファイルでありながら、最も実態が測定されていないものの一つだ。これはサイトのルートに置かれるMarkdownファイルで、AIツールに対してそのサイトが何であり、最も有用なページがどこにあるかを伝える。多くの人がその採用を勧めているが、Googleは無視してよいと述べている。検索での見え方をモニタリングするチームにとって、有用な問いはもっと単純だ。実際に誰が導入しているのか、ということだ。

2026年11月16日、我々はTrancoランキングの上位10,000ドメインを確認した。これはAIクローラーをブロックしているのは誰かの調査で使ったのと同じリストだ。以下がその結果である。

見出しの数字

ドメイン数割合
確認した上位10,000ドメイン10,000
ウェブサイトを運営している(リクエストに応答した)7,865
本物のllms.txtを持つ929全体の9.3%、ウェブサイトの11.8%
llms-full.txtも持つ150llms.txtを持つもののうち16%

2026年5月に同種のリストに対して行われたベンダーのスキャンでは、有効なファイルが586件、上位10,000の5.86%だった。手法はわずかに異なるが、方向性は明らかだ。6か月で採用率はおよそ半分増加した。

「200 OK」の応答の半分はllms.txtファイルではない

2,068ドメインが/llms.txtへのリクエストに200 OKステータスで応答した。しかし実際にllms.txtを配信していたのはそのうち半分未満、929件にとどまる。残りはホームページを返したり、成功を装ったエラーページを返したり、どこか別の場所へのリダイレクトを返したりしていた。また、仕様で必須とされているタイトルを欠いたプレーンテキストファイルも128件見つかった。

したがって、ステータスコードだけを数えると、採用率が2倍以上過大に見積もられることになる。我々は、テキストであってHTMLではないこと、リダイレクト後もllms.txtのアドレスにとどまっていること、仕様が「唯一必須のセクション」と呼ぶMarkdownのタイトルで始まっていることの3条件を満たす場合に限り、本物のファイルとしてカウントした。

大規模サイトと開発者向けサイトが先行している

順位ウェブサイト数llms.txtを持つ割合
上位1007312.3%
上位1,00073315.8%
1,001から5,0003,04812.4%
5,001から10,0004,08410.7%

ランキングの中で最も早い段階で導入したサイトには、Cloudflare、GitHub、Adobe、Samsung、Dropbox、PayPal、Shopify、Stripe、Cisco、Slackが含まれる。パターンとしては、開発者向けプラットフォームとソフトウェア企業が目立つ。つまり、人々がすでにAIコーディングツールに貼り付けているドキュメントを持つサイトだ。

ドメインの末尾を見ても同じ傾向が見える。.ioサイトの25.7%がllms.txtを持ち、.comサイトでは15.4%であるのに対し、.eduは2.5%、.jpは1.8%、.govは1.0%にとどまる。ドキュメント用プラットフォームがこの差の一因を説明している。Mintlifyは2024年末以降、自社がホストするドキュメントサイト向けにllms.txtを自動生成しており、Yoast SEOは2025年6月にWordPress向けにこれを追加した。

意外な発見:llms.txtを持つサイトはAIクローラーをほとんどブロックしない

我々は結果を、10月の調査で得たrobots.txtファイルのデータと突き合わせた。両グループはかなり異なる様相を示している。

robots.txtでブロックされているAIクローラーllms.txtを持つサイト持たないサイト
GPTBot (OpenAI)4.9%16.9%
ClaudeBot (Anthropic)4.2%15.7%
Google-Extended3.0%13.8%
CCBot (Common Crawl)6.5%18.0%
少なくとも1つの学習用クローラー7.4%20.7%

llms.txtを公開しているサイトは、AIの学習用クローラーをブロックする可能性がおよそ3分の1にとどまる。これは理にかなっている。llms.txtは一種の招待状であり、それを送る企業の多くは、AIツールに自社の製品を理解してもらいたいと考えているからだ。

一部のサイトは矛盾したシグナルを送っている。12のサイトがllms.txtを公開しながら、robots.txtでGPTBot、ClaudeBot、PerplexityBotをブロックしており、その中にはBloombergとDaily Mailが含まれる。robots.txtのデータは10月上旬時点のものなので、それ以降に変更された可能性もあるが、要点は変わらない。llms.txtはコンテンツを一覧化するものであり、許可を与えるものではない。どのファイルが許可を与えるのかについては、robots.txtとAIオプトアウトに関する我々のガイドで扱っている。

実際に読まれているのか

ここでは、採用の伸びが示唆するほど明るい状況ではない。

  • Google検索は利用していない。 GoogleのAI機能に関するガイドは、「チャンク化」のような手法や、llms.txtのような不要なAIテキストファイルの作成は「無視してよい」としながら、それを利用する他のサービス向けに作成すること自体は「まったく問題ない」とも述べている。それ以前には、John Muellerがllms.txtをkeywordsメタタグに例えていた。
  • Chromeは確認している。 LighthouseにはいまやllmsLlms.txtの監査項目があり、これを「ウェブサイトのコンテンツの機械可読な要約を提供するための新興の慣習」と説明している。ファイルが存在しない場合は該当なしと表示され、「現時点ではこのファイルの提供は任意であるため」とされている。
  • クローラーが取得することはまれだ。 主要なAI企業で、自社のクローラーが他サイトのllms.txtファイルを読み込むと文書化しているところはない。Ahrefsのログ調査では、約38,000件のファイルのうち97%が、2026年5月中に一度もリクエストを受けていなかった。

今日、主な読み手はドキュメントを参照するAIコーディングアシスタントやエージェントであり、そこではページの整理されたリストが本当に役立っている。

これをどう活かすか

  1. ドキュメントや多数のページを持つ製品があるなら、導入する。 コストは低く、エージェントやコーディングツールは実際にこれを利用する。内容は短くまとめること。タイトル、1行の要約、そして最も有用なページへリンクするセクションだけでよい。
  2. 順位向上を期待しない。 llms.txtがGoogle検索やAI Overviewsに影響するという兆候はない。AIの見え方に実際に影響するものについては、AI Modeと順位トラッキングに関する我々のガイドで扱っており、レジデンシャルプロキシを使えば、各市場でAIの回答が自社をどう説明しているかを確認できる。
  3. 実在するものにする。 /llms.txtではプレーンテキストを配信すること、ホームページではないこと、そしてCMSの更新のたびに確認すること。我々が確認した「200 OK」応答の半分以上は、実際にはllms.txtファイルではなかった。
  4. シグナルの一貫性を保つ。 llms.txtがAIツールにページの読み込みを招いているなら、robots.txtが同じツールを締め出していないか、あるいはその逆になっていないかを確認すること。
  5. まず測定し、それから判断する。 サーバーログで/llms.txtへのリクエストを監視すること。数か月経っても誰も取得していなければ、それが答えだ。

調査方法

2026年11月16日、我々はTrancoランキング(リストQ2K34)の上位10,000ドメインそれぞれについて、https://<domain>/llms.txtをリクエストし、失敗した場合はwww.付きのアドレスを試した。各アドレスに対して説明的なユーザーエージェントで1回のリクエストを行い、リダイレクトを追跡し、最大2MBまで読み込んだ。何らかのHTTPレスポンスを返したドメインを、ウェブサイトを運営しているものとしてカウントした。HTMLではなく、llms.txtのアドレスにとどまり、Markdownのタイトルで始まっているファイルを、本物のllms.txtとしてカウントした。robots.txtとの比較には、同じドメインに対して2026年10月6日に行った調査結果を用いている。

結論

上位10,000ウェブサイトのうち、約11分の1が現在本物のllms.txtを持っており、5月からおよそ半分増加している。これを牽引しているのは開発者向けプラットフォームと最大規模のサイトだ。こうしたサイトはAIクローラーをブロックする可能性が3分の1にとどまる。しかしGoogle検索はこのファイルを無視し、クローラーが取得することもまれであるため、llms.txtはSEOのてことしてではなく、AIツールやエージェントにとっての安価な利便性として扱うべきだ。

出典と参考資料

よくある質問

llms.txtファイルを持つウェブサイトはどれくらいありますか?

2026年11月に実施したTrancoランキング上位10,000ドメインの調査では、929件が実際のllms.txtを持っていました。これは全ドメインの9.3%、ウェブサイトを運営しているドメインの11.8%にあたります。上位1,000ドメインに限ると、その割合は15.8%でした。

Googleはllms.txtを使用していますか?

検索においては使用していません。GoogleのAI機能に関するガイドでは、llms.txtのような不要なAIテキストファイルを作成するといった手法は無視してよいとしつつ、それを利用する他のサービスのために作成するのはまったく問題ないと付け加えています。ChromeのLighthouseにはllms.txtの監査項目が含まれていますが、ファイルが存在しない場合はnot applicableと表示されます。

AIクローラーはllms.txtを読み取りますか?

今のところほとんど読み取っていません。主要なAI企業の中で、自社のクローラーが他サイトのllms.txtファイルを読み取っていると明言しているところはなく、Ahrefsによるログ調査では、約38,000件のllms.txtファイルのうち97%が2026年5月中に一度もリクエストを受けていませんでした。

自分のサイトにllms.txtを用意すべきですか?

コストはほとんどかからず、AIエージェントやコーディングツールが重要なページを見つける助けになります。そのため、ドキュメントサイトでの導入が先行しています。Googleでのランキングに影響すると期待すべきではなく、またrobots.txtの代わりに使うべきでもありません。llms.txtはコンテンツを列挙するものであり、アクセス許可を与えたり拒否したりするものではないからです。

始める準備はできていますか?

Shifterのレジデンシャルプロキシをお試しください。IP 205M+件、195+カ国、$0.10/GBから。

始める