llms.txt 작성 예시와 템플릿

Q: llms.txt에 포함할 링크 수와 파일 크기 상한이 있나요?

공식 사양에 명시된 상한은 없다. 실무 기준으로 파일 크기 100KB 이하, 링크 수 200개 이하를 권장한다. 대부분의 LLM 컨텍스트 윈도우가 처리할 수 있는 토큰 수에 제약이 있고, 파일이 클수록 핵심 정보 밀도가 낮아져 선택 정확도가 떨어진다. 페이지 수가 많은 사이트는 카테고리 인덱스·API 레퍼런스 루트·자주 인용되는 개념 설명 페이지 위주로 선별한다. 전체 페이지 텍스트 제공이 목적이라면 llms-full.txt를 별도 서빙한다.

Q: llms.txt 배포 후 AI 인용 증가 여부를 어떻게 측정하나요?

직접 측정 수단은 제한적이다. 실용적인 방법 두 가지: (1) 서버 액세스 로그에서 GPTBot·PerplexityBot·ClaudeBot UA가 /llms.txt와 거기 링크된 페이지를 연속으로 페치하는 패턴을 확인한다. (2) GA4 또는 서버 로그에서 referer 도메인이 perplexity.ai·chatgpt.com·claude.ai인 세션 수 추이를 배포 전후 비교한다. 추가로 Perplexity 검색 결과 Citations 탭에서 자사 도메인이 출처로 등장하는 빈도를 주 1회 샘플링해 보조 지표로 활용할 수 있다.

ChatGPT Search·Perplexity·Claude Search는 쿼리 응답 시 실시간으로 URL을 페치한다. 대부분의 HTML 페이지는 네비게이션·광고·JS 번들·중복 레이아웃을 포함해 LLM이 추출해야 할 핵심 텍스트 밀도가 낮다. 2024년 9월 Jeremy Howard(fast.ai)가 제안한 llms.txt 사양은 이 간극을 마크다운 기반 "사이트 네비게이션 맵"으로 메운다. 사이트 루트에 배치된 단일 파일이 LLM에게 어떤 페이지에 무엇이 있는지를 명시적으로 알려주어, 크롤러가 불필요한 HTML 파싱 없이 목적 페이지로 직행할 수 있게 한다.

작동 원리: LLM이 llms.txt를 소비하는 방식

AI 크롤러(GPTBot, PerplexityBot, ClaudeBot 등)가 쿼리 응답을 위해 사이트를 방문할 때 robots.txt 확인 후 /llms.txt를 페치한다. 이 파일은 다음 3단계 파이프라인으로 소비된다.

사이트 요약 추출 — H1과 바로 아래 blockquote(>)를 읽어 사이트의 핵심 정체성을 파악한다. 왜: LLM이 이후 링크를 선택·가중치 부여할 때 이 컨텍스트를 앵커로 사용한다. 어떻게: H1을 제품명, blockquote를 해결하는 문제와 주요 사용자 중심 2문장 이내로 작성한다.
섹션별 링크 목록 순회 — H2 섹션마다 마크다운 링크([제목](URL): 설명) 목록을 파싱해 우선순위 페이지를 결정한다. 왜: sitemap.xml은 URL만 제공하지만 llms.txt의 링크에는 자연어 설명이 포함돼 LLM이 방문 전 관련성을 판단할 수 있다. 어떻게: 설명은 "~를 다루는 페이지" 형태로 동사 중심으로 작성한다.
llms-full.txt 폴백 — /llms-full.txt가 존재하면 각 페이지 전문을 인라인으로 포함한 확장 파일로 라운드트립 없이 전체 컨텍스트를 확보한다. 왜: JS 렌더링 페이지나 페이지 수가 많을 때 크롤러가 개별 페이지를 재방문하지 않아도 된다. 어떻게: 빌드 파이프라인에서 각 페이지 마크다운을 하나로 합쳐 자동 생성한다.

파일 구조와 문법 사양

llms.txt는 표준 Markdown으로 작성한다. 사양에서 정의한 요소는 다음과 같다.

H1 (필수): 사이트 또는 제품의 고유 이름. 왜: LLM이 인용 시 출처 레이블로 사용한다. 어떻게: # 제품명 형태, 마케팅 슬로건 금지.
Blockquote (필수): H1 바로 아래 > 설명. 왜: 사양에서 "short description"으로 정의한 유일한 필수 텍스트 필드다. 어떻게: 제품이 해결하는 문제와 주요 사용자를 2문장 이내로 압축한다.
H2 섹션 (선택, 권장): 콘텐츠 카테고리별 구분. 왜: LLM이 관련 섹션만 선택적으로 읽어 컨텍스트 토큰을 절약한다. 어떻게: "Docs", "API Reference", "Blog", "Changelog" 같은 기능 단위로 분류한다.
마크다운 링크 + 설명 (선택, 강력 권장): - [페이지 제목](URL): 한 줄 설명. 왜: URL만 있으면 LLM이 방문 전 관련성을 판단할 수 없다. 어떻게: 콜론 뒤 설명을 생략하지 않는다.
Optional 섹션 힌트: H2 레이블 앞에 Optional을 붙이면 LLM이 컨텍스트 제약 시 건너뛰어도 된다는 신호를 준다. 왜: 요금제·사례 같은 마케팅 페이지는 기술 쿼리 응답에 불필요한 노이즈가 된다. 어떻게: ## Optional: 요금제 및 고객 사례 형태로 작성한다.

실전 템플릿과 작성 예시

아래는 SaaS 개발 도구 사이트를 가정한 최소 완성형 llms.txt 예시다. https://example.com/llms.txt로 Content-Type: text/plain; charset=utf-8으로 서빙한다. Next.js에서는 public/llms.txt에 두면 자동 정적 서빙되고, 동적 생성은 app/llms.txt/route.ts에서 Response를 반환한다.

# DevToolX

> DevToolX는 백엔드 개발자를 위한 API 모니터링·디버깅 플랫폼이다.
> HTTP 트레이스 자동 캡처, 슬로 쿼리 감지, 알림 채널 통합을 제공한다.

## Docs

- [빠른 시작 가이드](https://devtoolx.io/docs/quickstart): SDK 설치부터 첫 트레이스 수신까지 5분 셋업.
- [인증 설정](https://devtoolx.io/docs/auth): API 키 및 OAuth 2.0 통합 방법.
- [슬로 쿼리 감지](https://devtoolx.io/docs/slow-query): 임계값 설정과 알림 채널 연동 절차.
- [에러 그루핑 규칙](https://devtoolx.io/docs/error-grouping): 핑거프린트 기반 자동 클러스터링 알고리즘.

## API Reference

- [REST API 개요](https://devtoolx.io/api): 엔드포인트 목록, 인증 헤더, 응답 스키마.
- [Webhook 이벤트](https://devtoolx.io/api/webhooks): 이벤트 타입과 페이로드 구조.
- [SDK 레퍼런스](https://devtoolx.io/api/sdk): Node.js·Python·Go SDK 메서드 시그니처.

## Changelog

- [v2.3 릴리스 노트](https://devtoolx.io/changelog/v2-3): gRPC 지원 추가, 대시보드 성능 40% 개선.
- [v2.2 마이그레이션 가이드](https://devtoolx.io/changelog/v2-2-migration): v2.1→v2.2 브레이킹 변경 대응 방법.

## Optional

- [요금제 비교](https://devtoolx.io/pricing): Free·Pro·Enterprise 플랜 기능 및 한도 비교.
- [고객 사례](https://devtoolx.io/customers): 업종별 도입 효과 및 아키텍처 사례.

llms.txt · robots.txt · sitemap.xml 역할 비교

항목	robots.txt	sitemap.xml	llms.txt
주 소비자	검색 크롤러(Googlebot 등)	검색 인덱서	LLM 크롤러(GPTBot·PerplexityBot 등)
포맷	독자 지시어 문법	XML	Markdown
주 목적	크롤 허용/차단 제어	URL 발견·우선순위 신호	시맨틱 네비게이션·컨텍스트 제공
페이지 설명 포함	불가	제한적(changefreq·priority)	자연어 설명 권장
전문 콘텐츠 포함	불가	불가	llms-full.txt로 가능
표준화 단계	RFC 9309 공식 표준	sitemaps.org 업계 사양	커뮤니티 제안(비공식)
AI 답변 인용에 미치는 영향	간접(크롤 접근 제어)	간접(URL 발견 보조)	직접(컨텍스트 품질 결정)

흔한 오해: "llms.txt를 배치하면 크롤러가 반드시 따른다"

robots.txt와 달리 llms.txt는 기술적 강제력이 없다. AI 크롤러가 이 파일을 읽고 링크를 따라갈지는 각 AI 시스템의 구현에 달려 있다. 현재 공식 사양도 W3C·IETF 표준이 아닌 커뮤니티 제안 수준이다. Anthropic·Vercel·Cloudflare 등 일부 기업은 실제로 llms.txt를 게시하고 있고, Perplexity는 해당 파일을 참조한다고 밝혔다. 그러나 Google AI Overviews·ChatGPT Search가 llms.txt를 명시적으로 우선 소비한다는 공식 확인은 2026년 6월 기준 없다.

올바른 처리법: llms.txt를 "AI 크롤러 제어 파일"이 아닌 "LLM 친화적 콘텐츠 구조화 도구"로 포지셔닝한다. robots.txt로 크롤 정책을 명확히 설정하고, llms.txt는 각 페이지의 마크다운 본문 품질 개선과 병행 배포한다. 효과 측정 시 llms.txt 배포 전후 AI 엔진 트래픽 레퍼러(referer: perplexity.ai 등)를 4~8주 비교하되, 단일 변수로 인과를 확정하기 어렵다는 점을 인지하고 보조 지표로만 활용한다.

기술적 FAQ

llms.txt에 포함할 링크 수와 파일 크기 상한이 있나요?

공식 사양에 명시된 상한은 없다. 실무 기준으로 파일 크기 100KB 이하, 링크 수 200개 이하를 권장한다. 대부분의 LLM 컨텍스트 윈도우가 처리할 수 있는 토큰 수에 제약이 있고, 파일이 클수록 핵심 정보 밀도가 낮아져 선택 정확도가 떨어진다. 페이지 수가 많은 사이트는 카테고리 인덱스·API 레퍼런스 루트·자주 인용되는 개념 설명 페이지 위주로 선별한다. 전체 페이지 텍스트 제공이 목적이라면 llms-full.txt를 별도 서빙한다.

llms.txt 배포 후 AI 인용 증가 여부를 어떻게 측정하나요?

직접 측정 수단은 제한적이다. 실용적인 방법 두 가지: (1) 서버 액세스 로그에서 GPTBot·PerplexityBot·ClaudeBot UA가 /llms.txt와 거기 링크된 페이지를 연속으로 페치하는 패턴을 확인한다. (2) GA4 또는 서버 로그에서 referer 도메인이 perplexity.ai·chatgpt.com·claude.ai인 세션 수 추이를 배포 전후 비교한다. 추가로 Perplexity 검색 결과 Citations 탭에서 자사 도메인이 출처로 등장하는 빈도를 주 1회 샘플링해 보조 지표로 활용할 수 있다.

참고 자료

이 글의 권고는 아래 공식 문서·연구를 근거로 합니다.