나무위키가 한국 AI 답변의 1순위 출처가 된 결정적 이유는 콘텐츠가 가장 정확해서가 아니라, '글로벌 AI가 크롤링할 수 있는 한국어 대형 지식 저장소' 중 나무위키가 구조적으로 가장 RAG에 유리하기 때문이다. 네이버가 외부 AI 크롤러를 차단하면서 한국어 콘텐츠의 절대 다수(네이버 블로그·카페·지식iN)가 글로벌 LLM의 후보군에서 통째로 빠졌고, 그 공백을 나무위키·위키백과·티스토리가 메웠다. 여기에 나무위키 특유의 문서 구조가 검색 엔진의 청크·임베딩·재정렬 단계마다 점수를 잘 받도록 짜여 있다. 이 글은 '나무위키가 1등이다'라는 현상을 넘어, 왜 그 일이 메커니즘적으로 필연이었는지를 RAG 파이프라인과 공개 인용 데이터로 단계별로 뜯어본다.
AI는 '아는 것'을 답하지 않는다 — 먼저 '찾는다'
오해부터 풀자. ChatGPT나 Gemini가 한국 인물·게임·사건을 답할 때, 모델이 학습 때 외운 지식을 그대로 읊는 게 아니다. 현대 AI 검색의 표준은 RAG(Retrieval-Augmented Generation)다. 2020년 Lewis 등이 제안한 이 구조(arXiv:2005.11401)는 모델 내부에 박제된 '파라메트릭 메모리'와, 외부 문서를 실시간으로 끌어오는 '비파라메트릭 메모리'를 결합한다. 즉 질문이 들어오면 먼저 외부 문서고에서 관련 문단을 검색하고, 그 문단을 근거로 답을 생성한다.
비유하자면 이렇다. 시험을 보는데 머릿속 암기만으로 푸는 게 아니라, 오픈북으로 옆에 펼쳐 둔 자료를 보고 답안을 쓰는 것이다. 그렇다면 시험 성적을 좌우하는 건 두 가지다. (1) 책상 위에 어떤 책이 놓여 있는가(후보군), (2) 그 책에서 어떤 페이지를 펼치는가(검색·재정렬). 나무위키가 1순위가 된 이유는 정확히 이 두 단계에 다 걸려 있다.
RAG 파이프라인은 보통 세 단계로 흐른다.
| 단계 | 하는 일 | 비유 |
|---|---|---|
| ① Retrieval(검색) | 질문과 의미가 가까운 문단 수십 개를 빠르게 후보로 추림 | 도서관에서 관련 책 한 무더기를 일단 꺼내옴 |
| ② Reranking(재정렬) | 후보를 질문과 한 쌍으로 정밀하게 다시 읽어 순위를 매김 | 꺼낸 책을 펼쳐 질문에 정말 답하는 페이지만 골라냄 |
| ③ Generation(생성) | 상위 문단을 근거로 답변을 쓰고 출처를 인용 | 고른 페이지를 보며 답안 작성 + 각주 표기 |
핵심은 이거다. ①에서 후보로 올라오지 못한 문서는 ②③에서 인용될 가능성이 0이다. 아무리 좋은 글이어도 책상 위에 올라오지 못하면 시험에 못 쓴다. 한국어 콘텐츠 시장에서 누가 책상 위에 올라가고, 누가 빠졌는지 — 여기서 나무위키 이야기가 시작된다.
1막: 네이버가 만든 '접근 비대칭' — 가장 큰 책장이 잠겼다
한국어 웹 콘텐츠의 무게중심은 오랫동안 네이버였다. 블로그·카페·지식iN에 쌓인 한국어 텍스트의 양은 압도적이다. 그런데 글로벌 AI 입장에서 이 거대한 책장은 잠겨 있다.
AI가 어떤 페이지를 후보군에 넣으려면 먼저 그 페이지를 크롤링해 색인해야 한다. 크롤러는 사이트의 robots.txt 규칙을 따른다. 글로벌 AI 크롤러는 각자 고유 이름을 달고 다닌다.
# 주요 AI 크롤러 (robots.txt에서 이 이름들을 허용해야 후보 진입)
GPTBot, OAI-SearchBot # OpenAI (ChatGPT)
PerplexityBot # Perplexity
ClaudeBot, anthropic-ai # Anthropic (Claude)
Google-Extended # Google (Gemini / AI Overviews)
네이버는 자사 콘텐츠에 대해 외부 크롤러 접근을 사실상 차단해 왔다. 그 결과는 단순하지만 치명적이다. 네이버 블로그에 아무리 좋은 후기·정보가 쌓여 있어도, 글로벌 AI의 책상 위에는 그 책이 처음부터 올라오지 못한다. 검색 단계 이전, '후보 진입'에서 탈락하는 것이다.
그러면 글로벌 AI는 한국어 질문에 답할 때 무엇을 펼칠까? 크롤링이 허용된 한국어 대형 저장소로 수요가 몰린다. 바로 나무위키, 위키백과(한국어), 티스토리다. 시장에서 가장 큰 책장이 잠기자, 두 번째·세 번째로 큰 '열린 책장'이 반사이익을 독식한 셈이다. 이것이 나무위키 부상의 1번 동력 — 콘텐츠 품질 경쟁이 아니라 접근 권한의 비대칭이다.
이 패턴은 글로벌 엔진의 인용 성향 데이터와도 맞물린다. 대규모 인용 분석에서 ChatGPT는 위키백과를 약 47.9% 비율로 인용하는 경향이 보고됐다. 영어권에서 위키백과가 차지하는 자리를, 한국어 맥락에서는 위키백과 + 나무위키가 함께 메운다고 보면 메커니즘이 일관된다. '구조화되고, 개방되고, 엔티티 중심인 위키형 문서'를 LLM이 선호한다는 동일한 원리가 언어만 바꿔 작동하는 것이다.
주의할 점도 하나. 이 인용 분포는 엔진마다 크게 갈린다. 한 분석에서는 ChatGPT와 Perplexity의 인용 도메인 중복이 약 11%에 불과하고, 인용의 약 90%가 엔진마다 다른 것으로 나타났다. Perplexity는 Reddit을 약 46.7% 비율로 인용하는 등 커뮤니티 의존이 강하다. 즉 '나무위키 1등'은 모든 엔진에서 똑같이 1등이라는 뜻이 아니라, 위키형 개방 문서를 선호하는 엔진(특히 ChatGPT 계열)에서 한국어 답변의 사실 골격을 나무위키가 자주 떠받친다는 뜻으로 읽어야 정확하다.
2막: 책상에 올라온 뒤에도 — 나무위키는 왜 '검색'에 강한가
후보 진입은 필요조건일 뿐이다. 티스토리 글도, 한국어 위키백과도 다 열려 있다. 그런데 왜 유독 나무위키가 답변 본문에 자주 박히는가? 답은 RAG의 검색·청크·재정렬 메커니즘이 나무위키의 문서 구조를 편애하기 때문이다.
의미 검색은 키워드가 아니라 '뜻'으로 찾는다
1단계 검색은 더 이상 단순 키워드 매칭이 아니다. 2020년 Karpukhin 등의 Dense Passage Retrieval(arXiv:2004.04906)은 질문과 문단을 각각 임베딩 벡터로 바꿔 '의미가 가까운지'로 찾는 방식이 전통적 키워드 검색(BM25)을 능가함을 보였다. 비유하면 BM25는 도서관의 단어 색인(똑같은 단어가 있어야 찾음)이고, 의미 검색은 주제를 이해하는 사서(단어가 달라도 같은 뜻이면 찾아줌)다.
실무에서는 둘을 합친 하이브리드 검색이 표준이다. 공개 벤치마크 종합에서 recall@10(상위 10개 안에 정답 문단이 들어올 확률)은 대략 의미 검색 단독 ~78%, BM25 단독 ~65%, 그리고 둘을 RRF로 결합한 하이브리드 ~91%로 나타난다. 색인과 사서를 함께 쓸 때 가장 많이 건진다는 뜻이다. 나무위키의 정확한 표제어(엔티티 이름)는 BM25에 강하고, 풍부한 설명 문맥은 의미 검색에 강하다. 하이브리드의 양쪽 모두에서 점수를 받는 드문 문서가 나무위키다.
긴 글을 잘라 넣는다 — 그리고 '맥락 잘림'이 승부를 가른다
문서는 통째로 들어가지 않는다. 청크(chunk) 단위로 잘려 색인된다. 여기서 흔한 실패가 생긴다. 예컨대 어떤 게임 문서의 한 단락만 떼어내면, 그 단락만 봐서는 '무엇에 대한 설명인지' 모호해진다. 대명사가 가리키는 대상이 사라지기 때문이다.
Anthropic이 2024년 공개한 Contextual Retrieval 실험은 이 문제의 크기를 정량화했다. 각 청크 앞에 '이 청크가 전체 문서에서 무엇에 관한 것인지' 맥락 한 줄을 붙였더니 검색 실패율이 35% 감소(5.7%→3.7%)했고, BM25를 더한 하이브리드로 49%, 재정렬까지 얹으면 67% 감소했다. 권장은 상위 20개 청크를 모델에 넘기는 구성이었다.
나무위키 문서는 이 '맥락 자급자족'에 유리하다. 문단마다 표제어와 고유명사가 반복 등장하고, 소제목 구조가 촘촘해 한 조각만 떼어내도 '무엇에 대한 설명인지'가 비교적 또렷이 남는다. 반대로 일기체 블로그 글은 '저번에 말한 그거'식 서술이 많아 잘리면 의미가 무너진다. 같은 정보라도 청크 친화적으로 쓰였느냐가 검색 생존을 가른다.
❌ 약한 예 (블로그체, 청크가 고아가 됨): "지난주에 다녀온 거기, 진짜 분위기 좋더라고요. 가격도 생각보다 괜찮았어요." → '거기'가 어디인지 청크 단독으로는 알 수 없음. 검색·재정렬에서 탈락.
✅ 강한 예 (나무위키체, 청크가 자급자족): "○○카페(서울 성수동 소재)는 2019년 개업한 스페셜티 커피 전문점이다. 대표 메뉴는 ○○라떼이며 가격대는 6,000~8,000원 선이다." → 단독 청크만으로 엔티티·위치·사실이 모두 복원됨. 검색·인용에 강함.
재정렬과 '중간 손실' — 위키 구조가 받는 보너스
2단계 재정렬은 cross-encoder가 질문과 후보 문단을 한 쌍으로 정밀하게 다시 읽어 순위를 매긴다. 난도 높은 질의에서 NDCG를 5~15(어려우면 ~20)까지 끌어올리는 단계다. 여기서도 '질문의 핵심 엔티티가 문단 안에 명시적으로 박혀 있는' 나무위키형 문서가 또렷한 신호를 준다.
생성 단계의 한 가지 함정도 짚자. 2023년 Liu 등의 'Lost in the Middle'(arXiv:2307.03172)은 긴 맥락을 넣었을 때 모델이 맨 앞과 맨 끝의 정보는 잘 쓰지만 중간은 흘리는 U자형 패턴을 보고했다. 즉 핵심 사실이 문단 중간에 묻혀 있으면 답에 반영되지 못한다. 나무위키는 보통 표제어 정의를 문서 도입부에 압축해 두는 구조라, '맨 앞 우대'의 수혜를 자연스럽게 받는다.
3막: 엔진마다 다른 취향 — '나무위키 1등'을 과신하면 안 되는 이유
지금까지의 메커니즘은 '왜 나무위키가 유리한가'를 설명한다. 하지만 david의 원칙대로, 근거 없는 단정은 피해야 한다. 인용은 엔진별로 성향이 크게 갈린다.
| 엔진 | 인용 성향(공개 분석 기반) |
|---|---|
| ChatGPT | 위키백과·커뮤니티 등 구조화된 개방 문서 선호 → 한국어에선 나무위키 수혜 큼 |
| Gemini | 구글 색인·E-E-A-T 신호 반영 → 색인되고 신뢰 신호 있는 문서 우대 |
| Claude | 근거 약한 콘텐츠를 보수적으로 걸러내는 경향, Citations API로 출처 추적 |
| Grok | 실시간 웹 + X 스트림 활용, 인용 정확도 편차 큼 |
| Perplexity | 실시간·인라인 인용, 커뮤니티(예: Reddit) 의존 두드러짐 |
여기서 나무위키 의존의 위험이 드러난다. Claude처럼 근거 약한 콘텐츠를 보수적으로 거르는 엔진은, 위키형 문서라도 출처가 부실하면 인용을 꺼린다. 나무위키는 편집 개방성 때문에 문서별 정확도·중립성 편차가 크다. AI가 나무위키를 인용한다 = 그 사실이 검증됐다가 아니라, AI가 그 청크를 '의미적으로 가깝고 구조적으로 또렷하다'고 판단했다는 의미일 뿐이다. 메커니즘(검색 적합성)과 진실성(사실 정확성)을 혼동하면 안 된다. 브랜드 입장에서 나무위키에 잘못된 서술이 박히면, 그 오류가 AI 답변으로 증폭되어 퍼질 수 있다는 뜻이기도 하다.
그리고 측정 자체가 흔들린다
한 번 측정해서 '우리 브랜드는 나무위키 덕에 ChatGPT에 잘 나온다'고 결론 내리면 위험하다. LLM 출력은 temperature=0에서도 GPU 연산·배치 처리 특성상 흔들린다. 한 실험에서는 2,350억 파라미터급 모델이 같은 입력 1,000회에 80가지 출력을 냈다. AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용 빈도가 멱법칙으로 출렁이므로 다중 실행 + 부트스트랩 신뢰구간으로 봐야 한다고 권한다. 단일 측정은 사실상 노이즈다. '나무위키발 인용'을 추적하더라도, 한 번 잡힌 스냅샷이 아니라 반복 측정의 분포로 봐야 한다.
4막: 그렇다면 브랜드는 무엇을 해야 하나 — GEO의 실증
메커니즘을 알면 처방이 따라온다. 글로벌 AI에 한국어로 발견되려면, '나무위키가 받는 점수'를 내 콘텐츠도 받게 만들면 된다. 2023년 Aggarwal 등의 GEO 연구(arXiv:2311.09735, KDD 2024)는 생성형 엔진에서의 가시성을 실제로 끌어올리는 콘텐츠 조작을 실험했다. 통계 인용, 출처 표기, 직접 인용문 추가가 특정 조건에서 생성엔진 가시성을 최대 약 40%까지 올렸다.
이게 왜 통하는지는 위 메커니즘으로 설명된다. 통계·출처·인용문은 청크를 '자급자족하는 사실 단위'로 만든다 → 재정렬 cross-encoder가 또렷한 신호를 잡는다 → 생성 단계에서 인용하기 좋은 근거가 된다. 즉 나무위키가 우연히 갖춘 속성(엔티티 명시·구조·검증 가능한 사실)을 의도적으로 재현하는 것이 GEO의 본질이다.
❌ 약한 예: "저희 제품은 정말 많은 분들이 만족하고 계세요." → 통계 없음, 출처 없음, 엔티티 모호. 청크로 잘리면 신호가 사라짐.
✅ 강한 예: "○○(2024년 출시)는 자체 설문(n=1,200)에서 재구매 의향 82%를 기록했다. — 출처: ○○ 2024 고객조사" → 엔티티·수치·출처가 한 청크에 자급자족. 검색·재정렬·생성 전 단계에서 점수.
여기에 한국 시장 특수성이 하나 더 있다. 네이버가 2026년 들어 AI 답변을 본격화했다는 점이다. AI 브리핑(요약)은 통합검색 쿼리의 20% 이상에 적용되고, 인용 건수는 2026년 4월 기준 월 약 3.558억 건에 달했다. 한 표본 분석(272건)에서는 AI 브리핑 인용 출처의 약 58%가 블로그였고, 약 49%는 검색 Top10 밖에서 인용됐다. 네이버는 C-Rank(출처 신뢰·전문성) + D.I.A.+(문서 의도)로 평가하며, 콘텐츠 5원칙(직접경험·일관주제·진정성·읽기쉬운 구조·최신성)을 강조한다. 정리하면 한국 브랜드는 두 전선을 동시에 본다 — 글로벌 AI(나무위키·위키백과·티스토리 경로)와 네이버 AI(블로그·자체 신뢰 신호 경로). 한쪽만 최적화하면 절반만 잡는다.
Citeon은 이 원리를 제품에 담았다
나무위키가 1등이 된 메커니즘을 알면, 정작 어려운 건 그다음이다. 내 브랜드가 지금 어떤 엔진에서, 어떤 출처를 통해, 얼마나 인용되는지를 실제로 재는 일이다. '나무위키에 우리 항목이 있으니 잘 나오겠지'는 추측이고, 추측은 david가 싫어하는 그것이다.
Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 인용을 직접 측정해 브랜드의 SOV(Share of Voice, 카테고리 AI 답변 중 브랜드 언급 비율)를 낸다. 엔진별로 인용 성향이 90% 가까이 다르다는 사실을 전제로, 합산해서 뭉개지 않고 엔진별로 본다. 사이트 진단 엔진은 위에서 말한 GEO·청크 친화성·엔티티 명시 같은 요소를 점검해 '나무위키가 받는 점수'를 내 콘텐츠가 받고 있는지 진단한다. 경쟁사 역추적으로 경쟁 브랜드가 어떤 출처를 통해 인용되는지 들여다보고, 주간 모니터로 추이를 따라간다(단일 측정이 노이즈라는 점을 정확히 반영한 설계다).
시작은 비용 없이 가능하다. Citeon 무료 AI 가시성 진단(₩0)으로 내 사이트가 지금 4개 엔진에서 어떻게 인용되고 있는지, 어디서 점수를 잃고 있는지부터 확인해 보길 권한다.
자주 묻는 질문
나무위키에 우리 회사 항목을 만들면 AI에 잘 나오나요?
항목 존재는 '후보 진입'의 한 경로일 뿐, 인용을 보장하지 않습니다. 더 중요한 건 청크 단위로 잘렸을 때도 엔티티·사실·출처가 자급자족하는 서술인지, 그리고 Claude처럼 근거를 보수적으로 거르는 엔진의 기준을 통과하는지입니다. 또한 나무위키는 편집 개방성 탓에 잘못된 서술이 박히면 그 오류가 AI 답변으로 증폭될 위험이 있어, 만들기보다 정확성 관리가 핵심입니다.
네이버 블로그가 글로벌 AI에 안 잡힌다면, 한국 브랜드는 어디에 글을 써야 하나요?
두 전선을 나눠 보세요. 글로벌 AI(ChatGPT·Gemini 등)는 크롤링이 열린 자사 웹사이트·위키형 문서·티스토리 경로가 유효하고, 네이버 AI 브리핑은 블로그·자체 신뢰 신호(C-Rank·콘텐츠 5원칙) 경로가 유효합니다. 한쪽만 하면 절반만 잡습니다.
나무위키가 모든 AI에서 1등인가요?
아닙니다. 인용 성향은 엔진별로 크게 갈립니다. 한 분석에서 ChatGPT·Perplexity의 인용 도메인 중복은 약 11%에 불과했고, Perplexity는 Reddit 같은 커뮤니티 의존이 강했습니다. '위키형 개방 문서를 선호하는 엔진에서 한국어 사실 골격을 자주 떠받친다'가 정확한 표현입니다.
한 번 측정해서 'ChatGPT에 잘 나온다'고 결론 내려도 되나요?
위험합니다. LLM은 temperature=0에서도 출력이 흔들립니다(한 실험에서 모델이 같은 입력 1,000회에 80가지 출력). 인용 빈도는 멱법칙으로 출렁이므로 다중 실행과 신뢰구간으로 봐야 하며, 단일 스냅샷은 사실상 노이즈입니다.
GEO로 가시성을 올린다는 게 어뷰징 아닌가요?
핵심은 통계·출처·직접 인용문을 더해 콘텐츠를 '검증 가능한 사실 단위'로 만드는 것입니다. 이는 나무위키가 우연히 갖춘 검색 친화적 속성을 정직하게 재현하는 작업이지, 없는 사실을 지어내는 것이 아닙니다. 가짜 통계나 허위 출처는 Claude류 엔진에서 오히려 걸러지고 신뢰를 깎습니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain Question Answering
- Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts
- Aggarwal et al. (2023), GEO: Generative Engine Optimization (KDD 2024)
- Anthropic (2024), Introducing Contextual Retrieval
- AI 가시성 불확실성 정량화 연구 — 다중 실행·부트스트랩 신뢰구간 권장
- Conductor, Debunking AI Prompt Volume