llms.txt는 AI 검색 분야에서 가장 많이 언급되지만 측정은 가장 적게 되는 파일이다. 이것은 사이트의 루트에 위치한 Markdown 파일로, AI 도구에게 해당 사이트가 무엇이고 가장 유용한 페이지가 어디에 있는지 알려준다. 많은 사람들이 이를 권장하지만, Google은 무시해도 된다고 말한다. 검색 가시성을 모니터링하는 팀에게 유용한 질문은 더 단순하다. 실제로 이것을 가지고 있는 곳은 어디인가?
2026년 11월 16일, 우리는 Tranco 순위 상위 10,000개 도메인을 조사했다. 이는 어떤 사이트가 AI 크롤러를 차단하는지에 대한 연구에서 사용한 것과 동일한 목록이다. 다음은 그 결과다.
핵심 수치
| 도메인 수 | 비율 | |
|---|---|---|
| 조사한 상위 10,000개 도메인 | 10,000 | |
| 웹사이트를 운영 중 (요청에 응답함) | 7,865 | |
| 실제 llms.txt 보유 | 929 | 전체의 9.3%, 웹사이트의 11.8% |
| llms-full.txt도 함께 보유 | 150 | llms.txt 보유 사이트의 16% |
2026년 5월에 한 벤더가 동일한 종류의 목록을 조사한 결과 유효한 파일 586개, 즉 상위 10,000개 중 5.86%를 발견했다. 방법론에는 약간의 차이가 있지만 방향성은 분명하다. 6개월 만에 도입률이 약 절반 정도 증가한 것이다.
”200 OK” 응답의 절반은 llms.txt 파일이 아니다
2,068개 도메인이 /llms.txt 요청에 200 OK 상태로 응답했다. 그중 절반도 안 되는 929개만이 실제 llms.txt를 제공했다. 나머지는 홈페이지, 성공으로 위장한 오류 페이지, 또는 다른 곳으로의 리디렉션을 반환했다. 또한 사양에서 요구하는 제목이 없는 일반 텍스트 파일 128개를 발견했다.
따라서 상태 코드만으로 집계하면 도입률이 두 배 이상 부풀려진다. 우리는 HTML이 아닌 텍스트이고, 리디렉션 후에도 llms.txt 주소에 머물러 있으며, 사양이 “유일하게 필수인 섹션”이라고 부르는 Markdown 제목으로 시작하는 경우에만 파일을 실제로 집계했다.
더 큰 사이트, 그리고 개발자 대상 사이트가 앞서 있다
| 순위 | 웹사이트 수 | llms.txt 보유 |
|---|---|---|
| 상위 100 | 73 | 12.3% |
| 상위 1,000 | 733 | 15.8% |
| 1,001 ~ 5,000 | 3,048 | 12.4% |
| 5,001 ~ 10,000 | 4,084 | 10.7% |
순위에서 가장 일찍 도입한 곳으로는 Cloudflare, GitHub, Adobe, Samsung, Dropbox, PayPal, Shopify, Stripe, Cisco, Slack이 있다. 패턴은 개발자 플랫폼과 소프트웨어 기업이다. 즉 사람들이 이미 AI 코딩 도구에 붙여넣는 문서를 보유한 사이트들이다.
도메인 확장자도 같은 이야기를 들려준다. .io 웹사이트의 25.7%가 llms.txt를 보유하고 있고, .com 사이트는 15.4%인 반면, .edu는 2.5%, .jp는 1.8%, .gov는 1.0%에 그친다. 문서 플랫폼이 이 차이의 일부를 설명한다. Mintlify는 2024년 말부터 자사가 호스팅하는 문서 사이트에 대해 llms.txt를 생성해왔고, Yoast SEO는 2025년 6월 WordPress용으로 이를 추가했다.
놀라운 점: llms.txt를 보유한 사이트는 AI 크롤러를 거의 차단하지 않는다
우리는 이 결과를 10월 연구의 robots.txt 파일과 결합했다. 두 그룹은 매우 다른 양상을 보인다.
| robots.txt에서 차단된 AI 크롤러 | llms.txt 보유 사이트 | 미보유 사이트 |
|---|---|---|
| GPTBot (OpenAI) | 4.9% | 16.9% |
| ClaudeBot (Anthropic) | 4.2% | 15.7% |
| Google-Extended | 3.0% | 13.8% |
| CCBot (Common Crawl) | 6.5% | 18.0% |
| 하나 이상의 학습용 크롤러 | 7.4% | 20.7% |
llms.txt를 공개한 사이트는 AI 학습용 크롤러를 차단할 가능성이 약 3분의 1 수준이다. 이는 이해가 간다. llms.txt는 일종의 초대장이며, 이를 보내는 기업들은 대체로 AI 도구가 자사 제품을 이해하기를 원한다.
일부 사이트는 상반된 신호를 보낸다. 12곳의 사이트는 llms.txt를 공개하면서도 robots.txt에서 GPTBot, ClaudeBot, PerplexityBot을 차단하고 있으며, 그 가운데는 Bloomberg와 Daily Mail이 있다. robots.txt 데이터는 10월 초 자료이므로 그 이후 변경되었을 수도 있지만, 요점은 변하지 않는다. llms.txt는 콘텐츠 목록일 뿐 허가를 부여하는 것이 아니다. 허가를 부여하는 파일에 대해서는 robots.txt와 AI 옵트아웃 가이드를 참고하라.
실제로 누군가 이를 읽는가?
여기서는 도입 곡선이 시사하는 것보다 그림이 약하다.
- Google 검색은 이를 사용하지 않는다. Google의 AI 기능 가이드는 “콘텐츠를 ‘청킹’하거나 불필요한 AI 텍스트 파일(llms.txt 같은)을 만드는 전략은 무시해도 된다”고 말하면서, 이를 사용하는 다른 서비스를 위해 만드는 것은 “전혀 문제없다”고 밝힌다. 앞서 John Mueller는 llms.txt를 키워드 메타 태그에 비유한 바 있다.
- Chrome은 이를 확인한다. Lighthouse에는 이제 llms.txt 감사 항목이 있으며, 이를 “웹사이트 콘텐츠의 기계 판독 가능한 요약을 제공하기 위해 떠오르고 있는 관행”이라고 설명한다. 파일이 없는 경우 “현재로서는 파일 제공이 선택 사항이므로” 해당 없음으로 표시된다.
- 크롤러는 거의 이를 가져가지 않는다. 주요 AI 기업 중 자사 크롤러가 다른 사이트의 llms.txt 파일을 읽는다고 문서화한 곳은 없다. Ahrefs의 로그 연구에서 약 38,000개 파일 중 97%가 2026년 5월 한 달 동안 전혀 요청을 받지 않았다.
오늘날 주된 독자는 문서를 가리키는 AI 코딩 어시스턴트와 에이전트들이며, 이 경우 깔끔한 페이지 목록이 실제로 유용하다.
이 결과를 가지고 무엇을 할 것인가
- 문서가 있거나 페이지가 많은 제품이 있다면 하나 추가하라. 비용이 적게 들고, 에이전트와 코딩 도구는 실제로 이를 사용한다. 짧게 유지하라. 제목 하나, 한 줄 요약, 그리고 가장 유용한 페이지로 연결되는 섹션들이면 충분하다.
- 순위 상승을 기대하지 마라. llms.txt가 Google 검색이나 AI Overviews에 영향을 준다는 증거는 전혀 없다. 실제로 AI 가시성에 영향을 주는 요소는 AI Mode와 순위 추적 가이드에서 다루며, 레지덴셜 프록시를 이용하면 각 시장에서 AI 답변이 당신을 어떻게 설명하는지 확인할 수 있다.
- 실제로 작동하게 만들어라. 홈페이지가 아니라
/llms.txt에서 일반 텍스트를 제공하고, CMS 업데이트 후마다 확인하라. 우리가 확인한 “200 OK” 응답 중 절반 이상은 llms.txt 파일이 아니었다. - 신호를 일관되게 유지하라. llms.txt가 AI 도구에게 페이지를 읽으라고 초대하고 있다면, robots.txt가 동일한 도구를 차단하고 있지는 않은지, 혹은 그 반대는 아닌지 확인하라.
- 측정한 뒤 결정하라. 서버 로그에서
/llms.txt에 대한 요청을 관찰하라. 몇 달이 지나도 아무도 이를 가져가지 않는다면, 그것이 답이다.
조사 방법
2026년 11월 16일, 우리는 Tranco 순위(목록 Q2K34) 상위 10,000개 도메인 각각에 대해 https://<domain>/llms.txt를 요청했고, 첫 시도가 실패하면 www. 주소로 다시 요청했다. 각 주소당 한 번씩 요청하면서 설명적인 user agent를 사용했고, 리디렉션을 따라갔으며, 최대 2 MB까지 읽었다. HTTP 응답을 반환한 도메인은 웹사이트를 운영 중인 것으로 집계했다. HTML이 아니고, llms.txt 주소에 머물러 있으며, Markdown 제목으로 시작하는 파일을 실제 llms.txt로 집계했다. robots.txt 비교는 2026년 10월 6일에 동일한 도메인을 대상으로 수행한 스캔을 사용했다.
결론
상위 10,000개 웹사이트 중 약 11분의 1이 이제 실제 llms.txt를 보유하고 있으며, 5월 이후 약 절반 정도 증가했고, 개발자 플랫폼과 가장 큰 사이트들이 이를 주도하고 있다. 이들 사이트는 AI 크롤러를 차단할 가능성이 3분의 1 수준이다. 하지만 Google 검색은 이 파일을 무시하고 크롤러는 거의 이를 가져가지 않으므로, llms.txt는 SEO 수단이 아니라 AI 도구와 에이전트를 위한 저비용 편의 수단으로 다루어야 한다.
출처 및 참고 자료
- llms.txt 제안 및 사양: llmstxt.org
- Google Search Central, Optimizing for AI features in Search: developers.google.com
- Chrome Lighthouse, llms.txt audit: developer.chrome.com
- Search Engine Journal, Google says llms.txt comparable to keywords meta tag (2025년 4월 17일): searchenginejournal.com
- Ahrefs, llms.txt log study: ahrefs.com
- Thunderbit, llms.txt adoption in the Tranco top 10,000 (2026년 5월): thunderbit.com
- Common Crawl, content analysis of llms.txt files (2026년 8월 31일): commoncrawl.org
- Mintlify, llms.txt support (2024년 11월 20일): mintlify.com
- Yoast SEO 25.3 release (2025년 6월 10일): yoast.com
- Tranco, list Q2K34: tranco-list.eu