AI 크롤러 robots.txt 완전 설정 가이드

AI 검색에 인용되고 싶다면, 가장 먼저 손봐야 할 파일은 콘텐츠가 아니라 robots.txt다. ChatGPT·Perplexity·Claude·구글 AI 개요가 당신의 글을 답변에 넣으려면, 그들의 크롤러가 먼저 당신의 페이지를 읽어 학습·색인하거나 실시간으로 가져올 수 있어야 한다. robots.txt에서 그 크롤러를 막아두면, 당신의 콘텐츠가 아무리 훌륭해도 후보 목록에조차 진입하지 못한다. 검색이 아니라 출입 통제의 문제다. 이 글은 AI 크롤러 robots.txt 설정을 '왜 그래야 하는지'까지, RAG(검색→재정렬→생성) 메커니즘에 비춰 끝까지 설명한다.

robots.txt가 AI 인용에서 갑자기 중요해진 이유

전통적인 SEO에서 robots.txt는 '구글봇이 내 사이트를 색인하게 할까, 말까'를 정하는 비교적 단순한 파일이었다. 그런데 생성형 AI 검색이 등장하면서 이 파일의 역할이 한 겹 더 늘었다. 이제는 검색 엔진 색인용 봇과 AI 학습·실시간 검색용 봇이 따로 돌아다니고, 둘은 이름도 다르고 목적도 다르다.

비유하자면 이렇다. robots.txt는 건물 1층 로비의 출입 명단이다. 예전에는 '검색 엔진 기자(구글봇)'만 명단에 있으면 됐다. 그런데 지금은 'AI 도서관 사서(GPTBot)', '실시간 특파원(PerplexityBot)', '신중한 검증가(ClaudeBot)' 같은 새로운 방문객들이 줄을 서 있다. 명단에 이름이 없으면 이들은 로비에서 발길을 돌린다. 그리고 로비를 통과하지 못한 방문객은 당신을 절대 소개해줄 수 없다.

핵심을 먼저 못 박자. AI 검색의 인용은 대부분 RAG(Retrieval-Augmented Generation) 구조 위에서 일어난다. RAG의 원전인 Lewis 등(2020, arXiv:2005.11401)은 언어모델의 '파라메트릭 메모리'(학습된 가중치)와 '비파라메트릭 메모리'(외부 문서 검색)를 결합해 답을 만든다고 정리했다. 즉 AI는 자기 머릿속 지식만으로 답하지 않고, 외부 문서를 검색해 와서 그걸 근거로 답한다. 그 '외부 문서'가 되려면 크롤러가 당신의 페이지를 읽었어야 한다. robots.txt는 바로 그 첫 관문이다.

먼저 알아야 할 것: 'AI 크롤러'는 한 종류가 아니다

가장 흔한 오해가 'AI 봇 하나만 허용하면 된다'는 생각이다. 실제로는 회사마다, 그리고 같은 회사 안에서도 용도별로 봇이 나뉜다. 검증된 봇 목록을 정리하면 다음과 같다.

여기서 결정적인 디테일이 둘 있다.

첫째, OpenAI는 봇이 두 개다. GPTBot은 모델을 '학습'시키기 위한 수집기이고, OAI-SearchBot은 ChatGPT가 답변할 때 '검색 결과로 보여주기' 위한 봇이다. 학습엔 참여하기 싫지만 ChatGPT 답변엔 인용되고 싶다면, GPTBot은 막더라도 OAI-SearchBot은 열어둬야 한다. 이 둘을 한 줄로 뭉뚱그리면 의도와 반대 결과가 난다.

둘째, Google-Extended는 일반 구글봇과 별개다. 이건 페이지를 가져가는 크롤러가 아니라, '내 콘텐츠를 구글의 생성형 AI(Gemini 등) 학습·근거에 써도 된다'는 일종의 허용 토큰이다. 그래서 Google-Extended를 막아도 일반 검색 색인은 그대로 유지되지만, 구글의 AI 답변 후보에서는 빠질 수 있다. 구글 AI는 기존 구글 색인과 E-E-A-T(경험·전문성·권위·신뢰) 신호 위에서 동작하므로, 검색 노출과 AI 노출을 동시에 노린다면 둘 다 열어두는 게 정석이다.

차단하면 정확히 무슨 일이 벌어지나 — RAG 3단계로 보기

'막으면 인용 안 된다'는 건 알겠는데, 왜 그런지를 메커니즘으로 보면 설정의 우선순위가 또렷해진다. RAG는 보통 세 단계를 거친다.

1. 검색(Retrieval) — 질문과 의미가 가까운 문서 후보를 끌어온다.
2. 재정렬(Reranking) — 후보들을 질문에 비춰 다시 줄 세운다.
3. 생성(Generation) — 상위 문서를 읽고 답을 쓰며 출처를 단다.

여기서 robots.txt 차단이 작동하는 지점은 단계 1보다도 더 앞이다. 검색 단계가 작동하려면, 그 전에 크롤러가 페이지를 가져와 인덱스(색인)에 넣어두었어야 한다. robots.txt로 봇을 막으면 색인 자체가 안 만들어지거나(학습형 봇 차단), 실시간 fetch가 거부된다(검색형 봇 차단). 결과적으로 '후보 풀'에 당신의 문서가 존재하지 않는다. 검색·재정렬·생성이 아무리 정교해도 없는 문서를 인용할 수는 없다.

이게 왜 치명적이냐면, AI 인용 경쟁에서 가장 비싼 실패는 '순위가 낮은 것'이 아니라 '명단에 없는 것'이기 때문이다. 순위가 낮으면 콘텐츠를 고쳐 올라갈 여지라도 있다. 그러나 크롤러가 못 들어오면 처방할 콘텐츠가 애초에 평가받지 못한다.

실전 robots.txt — 강한 예 / 약한 예

이론은 됐고, 실제 파일이 어떻게 생겨야 하는지 대조해 보자. robots.txt는 사이트 최상위(https://example.com/robots.txt)에 있어야 하며, 각 봇은 자기 이름(User-agent)에 해당하는 블록을 따른다.

1) 모든 AI 검색 노출을 원할 때 (가장 흔한 목표)

❌ 약한 예 — 무심코 전부 막아버린 경우

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

이건 '나는 AI 답변에 절대 나오기 싫다'는 선언이다. 데이터 프라이버시가 최우선인 사이트가 아니라면, 마케팅 관점에서는 자해에 가깝다.

✅ 강한 예 — 주요 AI 봇을 명시 허용하고, 사이트맵까지 안내

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

여기서 주목할 디테일: 봇별 블록은 '명단에 이름을 올리는' 의미가 크다. 사실 대부분의 크롤러는 별도 차단 규칙이 없으면 기본적으로 크롤링하지만, 명시적으로 허용 의도를 적어두면 실수로 전체 차단(User-agent: * / Disallow: /)에 휩쓸리는 사고를 막을 수 있다. 또한 Sitemap 한 줄은 크롤러에게 '어디부터 읽으면 되는지' 지도를 쥐여주는 것과 같아서, 색인 효율을 직접적으로 돕는다.

2) 학습은 거부하되 실시간 검색 인용은 허용하고 싶을 때

'내 글로 모델을 공짜로 학습시키긴 싫지만, ChatGPT나 Perplexity가 답하면서 출처로는 걸어줬으면 좋겠다'는, 매체·뉴스·전문 콘텐츠 사이트의 흔한 요구다.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Disallow: /

의미를 풀면: GPTBot(학습)·Google-Extended(생성 AI 학습)는 거부, OAI-SearchBot(ChatGPT 검색 표시)·PerplexityBot(실시간 인용)은 허용. 이렇게 하면 '학습 데이터로는 안 쓰이지만 실시간 답변엔 인용될' 여지를 남긴다. 다만 이건 트레이드오프임을 분명히 하자 — 학습 코퍼스에서 빠지면 모델이 당신 브랜드를 '기억'할 기회는 줄어든다.

3) 흔한 사고: 와일드카드 한 줄로 전부 막힌 경우

❌ 약한 예

User-agent: *
Disallow: /

개발 단계에서 사이트를 숨기려고 넣었다가 그대로 운영에 배포되는 사고가 정말 많다. User-agent: *는 '이름이 따로 명시되지 않은 모든 봇'에 적용되므로, AI 크롤러들도 여기에 걸려 통째로 차단된다. 운영 배포 전 robots.txt를 다시 확인하는 습관 하나가 수개월치 AI 가시성을 살린다.

네이버라는 특수 상황 — robots.txt만으로 안 끝난다

한국 시장이라면 변수가 하나 더 있다. 네이버는 외부 크롤러를 상당 부분 차단해 왔고, 그래서 글로벌 AI(ChatGPT·Perplexity 등)는 네이버 블로그 본문을 직접 읽는 대신 나무위키·위키백과·티스토리를 우회 경로로 삼아 한국어 정보를 가져오는 경향이 관찰된다. 즉 네이버 안에만 콘텐츠를 쌓아두면, 글로벌 AI 답변에는 우회로를 통해서만 간접 등장하거나 아예 빠질 수 있다.

한편 네이버 자체 생태계도 빠르게 바뀌고 있다. 큐:(Cue:)와 클로바X는 2026-04-09 종료되고, AI탭이 2026-06-25~26 전체 정식 출시되며 대화형·에이전틱 검색으로 넘어간다. AI 브리핑(요약)은 이미 통합검색 쿼리의 20% 이상에 적용되고 있다. 한 표본 분석(272건)에서는 AI 브리핑 인용 출처의 약 58%가 블로그였고, 인용의 약 49%는 통합검색 Top10 밖 문서에서 나왔다 — '검색 1페이지에 없어도 AI엔 인용될 수 있다'는 신호다. 네이버는 C-Rank(출처 신뢰·전문성)와 D.I.A.+(문서의 의도 부합)로 문서를 평가하므로, 여기선 robots.txt 허용보다 직접 경험·일관된 주제·진정성·읽기 쉬운 구조·최신성이라는 콘텐츠 5원칙이 더 직접적인 레버다.

정리하면 한국 브랜드의 현실적 전략은 둘을 병행하는 것이다. ① 글로벌 AI용으로는 내 도메인(또는 티스토리 등 크롤링 허용 채널)에 콘텐츠를 두고 robots.txt를 열어 둔다. ② 네이버용으로는 네이버 생태계 규칙(C-Rank·콘텐츠 5원칙)에 맞춰 별도로 쌓는다. robots.txt는 ①의 필요조건일 뿐, ②까지 자동으로 해결해 주진 않는다.

허용한 다음이 진짜 시작 — 콘텐츠가 인용을 부른다

robots.txt 허용은 '입장권'이지 '당첨'이 아니다. 문을 열어 후보 풀에 들어간 뒤에는, 재정렬·생성 단계에서 선택받아야 한다. 이 단계를 좌우하는 요인을 근거와 함께 보자.

① 검색 단계의 품질 — 의미 검색과 하이브리드. 현대 RAG는 키워드(BM25)만이 아니라 임베딩 기반 의미 검색을 쓴다. Dense Passage Retrieval(Karpukhin 등 2020, arXiv:2004.04906)은 의미 검색이 BM25를 능가함을 보였다. 다만 둘을 합친 하이브리드가 가장 강하다. 공개 벤치마크 종합에서 recall@10은 의미 단독 약 78%, BM25 단독 약 65%, 하이브리드(RRF) 약 91% 수준으로 보고된다. 비유하면 하이브리드 검색은 '단어 색인(BM25)'과 '주제를 아는 사서(의미 검색)'를 같이 쓰는 도서관이다. 그래서 당신의 글은 핵심 키워드도 정확히 담되, 의미적으로도 질문에 또렷이 답해야 양쪽에서 잡힌다.

② 청크에 맥락을 입혀라. Anthropic의 Contextual Retrieval(2024)은 각 청크 앞에 그 청크가 무엇에 관한 것인지 맥락 한 줄을 붙이는 것만으로 검색 실패율을 35% 줄였다고 보고한다(5.7%→3.7%). 여기에 BM25를 더한 하이브리드는 49%, reranking까지 더하면 67% 감소했다. 실무 함의는 분명하다 — 글의 각 섹션이 독립적으로 읽어도 무슨 맥락인지 알 수 있게 써야, 잘라낸 청크가 검색에 잘 걸린다.

③ 재정렬(cross-encoder)을 의식하라. 1차 후보를 질문과 함께 다시 읽어 줄 세우는 reranking은 NDCG를 5~15(난도 높으면 약 20)까지 끌어올린다. 재정렬기는 '질문에 직접 답하는 문단'을 좋아한다. 그래서 답변형 첫 문장(직답)으로 문단을 여는 글이 유리하다.

④ 생성 단계에서 인용되는 콘텐츠의 특징. GEO 연구(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)는 통계 인용·출처 인용·직접 인용문을 더하는 것이 생성 엔진에서의 가시성을 특정 조건에서 최대 약 40% 끌어올렸다고 보고했다. 즉 같은 주제라도 수치와 출처가 박힌 글이 더 잘 인용된다.

⑤ 핵심은 앞과 끝에. Lost in the Middle(Liu 등 2023, arXiv:2307.03172)은 긴 맥락의 중간에 놓인 정보가 손실되는 U자형 현상을 보였다. 생성기가 여러 문서를 한꺼번에 받을 때, 중간에 묻힌 핵심은 무시되기 쉽다. 그러니 결론과 핵심 근거를 문단·문서의 앞이나 끝에 배치하라.

이 다섯을 한 줄로 요약하면: robots.txt로 문을 열고, 직답·맥락·수치·출처로 무장한 콘텐츠를 그 안에 들여놓아라.

엔진마다 인용 성향이 다르다 — 설정의 우선순위도 달라진다

봇을 다 열어둔다는 전제에서, 어느 엔진을 더 신경 쓸지는 인용 성향을 알면 결정하기 쉽다. 대규모 인용 분석들에 따르면 엔진 간 인용은 거의 겹치지 않는다 — 한 분석에서 ChatGPT와 Perplexity의 인용 도메인 중복은 약 11%에 그쳤고, 인용의 약 90%가 엔진마다 달랐다. ChatGPT는 위키백과 비중이 약 47.9%로 높았고, Perplexity는 Reddit가 약 46.7%로 높게 나타났다(출처: Profound/Discovered Labs 등).

특히 Claude는 근거가 약한 콘텐츠를 보수적으로 걸러내는 성향이 있고 Citations API를 제공한다. 그래서 ClaudeBot을 열어두는 것만으로는 부족하고, 들어온 콘텐츠가 출처·수치로 검증 가능해야 인용으로 이어진다. 문을 여는 것(robots.txt)과 들일 만한 콘텐츠를 두는 것(품질)은 항상 한 쌍이다.

설정했으면 검증하라 — 단일 측정은 노이즈다

robots.txt를 고쳤다면 두 가지를 확인하라. 첫째, 파일이 실제로 최상위에서 정상 응답하는지(curl -A "GPTBot" https://example.com/robots.txt로 봇 이름을 흉내 내 응답 확인). 둘째, 의도한 봇 블록이 오타 없이 들어갔는지. User-agent 이름 한 글자만 틀려도 그 블록은 무시된다.

그다음 '실제로 인용되는가'를 보고 싶을 텐데, 여기엔 함정이 있다. AI 답변은 측정 자체가 비결정적이다. temperature=0에서도 GPU 연산·배치 차이로 출력이 흔들린다 — 한 실험에서 2,350억 파라미터급 모델이 동일 입력 1,000회에 80가지 출력을 냈고, 6개 모델 480회 실험(arXiv:2602.14349)도 비결정성을 확인했다. AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용이 멱법칙으로 출렁이며, 다중 실행과 부트스트랩 신뢰구간을 권장한다. 한마디로 한 번 물어보고 '안 나오네' 하는 건 노이즈를 보는 것이다. 같은 질문을 여러 번, 여러 엔진에 돌려 분포로 봐야 한다.

덧붙여, 떠도는 'AI 프롬프트 검색량' 수치는 신중히 다뤄야 한다. 실제 프롬프트 볼륨은 실측이 불가능하고 패널(시장 1% 미만) 모델링 추정치에 가깝다. Conductor는 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 지적한다. 측정은 가시성(SOV) 같은 직접 관측 가능한 지표를 다중 실행으로 잡는 편이 정직하다.

Citeon은 이 원리를 제품에 담았다

robots.txt 허용은 '내가 직접 확인하기 전엔 됐는지 알기 어려운' 작업이다. Citeon의 사이트 진단엔진은 URL을 넣으면 SEO·AEO·GEO 관점에서 점수를 매기고, AI 크롤러가 진입 가능한 상태인지를 포함한 기술적 토대를 한국어 처방으로 돌려준다. 문을 열어둔 줄 알았는데 와일드카드 한 줄에 막혀 있던 사고를, 추측이 아니라 진단으로 잡아낸다.

문을 연 다음이 진짜 경쟁이다. Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 인용을 직접 측정(SOV)하고, 단일 측정의 노이즈를 줄이기 위해 주간 모니터로 추이를 본다. 어느 엔진에서 빠져 있는지, 경쟁사는 어떻게 인용되고 있는지를 경쟁사 역추적으로 보여줘, robots.txt부터 콘텐츠 처방까지 우선순위를 잡게 돕는다.

지금 내 사이트가 AI 크롤러에게 열려 있는지, 그리고 4개 엔진 중 어디에 인용되고 있는지 궁금하다면 무료 진단(₩0)으로 먼저 확인해 보길 권한다. → citeon.cloud에서 무료 AI 가시성 진단 받기

자주 묻는 질문 (FAQ)

참고자료

• Lewis et al. 2020 — Retrieval-Augmented Generation (RAG 원전)
• Karpukhin et al. 2020 — Dense Passage Retrieval
• Liu et al. 2023 — Lost in the Middle
• Aggarwal et al. 2023 — GEO: Generative Engine Optimization (KDD 2024)
• Anthropic 2024 — Contextual Retrieval
• Conductor — Debunking AI Prompt Volume