같은 브랜드를 물어도 AI 엔진마다 답이 다른 가장 큰 이유는, 엔진마다 '어떤 문서를 끌어오느냐(retrieval)'와 '어떤 출처를 신뢰하느냐(reranking)'가 다르기 때문입니다. 답을 만드는 생성 모델(generation)은 마지막 단계일 뿐, 그 앞에서 무엇을 읽었는지가 결과의 90%를 좌우합니다. 한국어에서는 여기에 '네이버 생태계 차단'이라는 변수가 하나 더 끼어들어 격차가 더 벌어집니다. 이 글은 그 격차가 '왜' 생기는지를 논문과 데이터로 한 겹씩 벗겨봅니다.
저는 david입니다. AEO(Answer Engine Optimization)를 리서치하면서 가장 많이 받는 질문이 이것입니다. "ChatGPT에서는 우리 회사가 잘 나오는데 Perplexity에서는 경쟁사만 나와요. 왜죠?" 답은 단순한 운이 아닙니다. 메커니즘입니다. 그 메커니즘을 알면 대응할 수 있습니다.
먼저, AI는 답을 '기억'하는 게 아니라 '검색'한다
대부분의 사람은 LLM이 학습 때 외운 지식을 그대로 뱉는다고 생각합니다. 절반만 맞습니다. 현대의 AI 검색 엔진은 거의 다 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 구조를 씁니다. 2020년 Lewis 등이 제안한 이 구조(arXiv:2005.11401)의 핵심은, 모델 안에 통째로 굳어 있는 '파라메트릭 메모리'와, 외부 문서를 그때그때 찾아오는 '비파라메트릭 메모리'를 결합한다는 것입니다.
일상 비유로 보겠습니다. LLM의 학습된 지식은 오래전에 읽고 머릿속에 남은 기억입니다. 흐릿하고, 최신이 아니고, 가끔 왜곡됩니다. 반면 RAG는 답하기 직전에 책상 위에 관련 자료를 펼쳐놓고 보면서 말하는 것입니다. 그래서 "우리 브랜드가 AI 답에 인용되느냐"는 질문은 사실 "AI가 답하기 직전, 책상 위에 우리 문서를 올려놓느냐"는 질문과 같습니다.
이 검색 단계는 보통 세 토막으로 나뉩니다.
| 단계 | 하는 일 | 일상 비유 |
|---|---|---|
| Retrieval(검색) | 질문과 관련된 후보 문서 수십~수백 개를 끌어옴 | 도서관에서 관련 책을 한 무더기 뽑아 옴 |
| Reranking(재정렬) | 후보를 질문과 함께 다시 읽어 진짜 중요한 순서로 정렬 | 뽑아온 책을 펼쳐보고 '이게 제일 쓸모 있다' 순서 매김 |
| Generation(생성) | 상위 문서를 근거로 자연어 답변과 인용 작성 | 정리한 자료를 보며 보고서를 씀 |
중요한 건, 엔진마다 이 세 단계의 설정이 전부 다르다는 점입니다. 같은 질문을 넣어도 ChatGPT와 Perplexity는 다른 책 무더기를 뽑아오고, 다른 순서로 정렬합니다. 결과가 다른 게 당연합니다.
검색 단계: 의미를 읽느냐, 단어를 세느냐
retrieval에는 크게 두 방식이 있습니다. 하나는 키워드 검색(BM25)으로, 질문에 나온 단어가 문서에 몇 번 나오는지를 셉니다. 다른 하나는 의미 검색(임베딩, dense retrieval)으로, 단어가 달라도 뜻이 비슷하면 끌어옵니다.
비유하자면 BM25는 도서관의 색인 카드입니다. '전기차 보조금'으로 찾으면 그 단어가 박힌 책만 정확히 찾지만, '친환경 차량 지원금'이라고 쓴 책은 놓칩니다. 의미 검색은 주제를 아는 사서입니다. 단어가 달라도 "아, 같은 얘기네" 하고 가져옵니다. 2020년 Karpukhin 등의 Dense Passage Retrieval 연구(arXiv:2004.04906)는 이 의미 검색이 전통적 BM25를 능가한다는 것을 보였습니다.
그런데 의미 검색도 완벽하지 않습니다. 정확한 고유명사(브랜드명, 모델명, 법령 번호)는 오히려 키워드 검색이 강합니다. 그래서 좋은 엔진은 둘을 합칩니다. 이것이 하이브리드 검색입니다.
공개 벤치마크들을 종합하면 검색 정확도(recall@10) 차이가 뚜렷합니다.
| 검색 방식 | recall@10(상위 10개 안에 정답 포함 비율) |
|---|---|
| 의미 검색 단독 | 약 78% |
| BM25(키워드) 단독 | 약 65% |
| 하이브리드(RRF로 결합) | 약 91% |
Anthropic의 2024년 Contextual Retrieval 연구는 한 발 더 나아갑니다. 각 문서 조각(청크)에 맥락 설명을 덧붙였더니 검색 실패율이 35% 줄었고(5.7%→3.7%), 여기에 BM25를 결합하니 49%, reranking까지 얹으니 67%까지 실패율이 떨어졌습니다. 핵심 교훈은 두 가지입니다. 첫째, 작은 설계 차이가 검색 결과를 크게 바꾼다. 둘째, 엔진마다 이 설계가 다르니 같은 브랜드도 어떤 엔진에선 잡히고 어떤 엔진에선 누락된다.
재정렬(reranking): 끌어온 뒤 누가 위로 가는가
후보를 뽑은 뒤, cross-encoder라는 모델이 '질문+문서'를 한 쌍으로 다시 읽으며 점수를 매깁니다. 이 재정렬은 검색 품질 지표(NDCG)를 보통 5~15점, 어려운 질의에서는 20점 가까이 끌어올립니다. 문제는 맥락 안에서 어디에 놓이느냐입니다.
2023년 Liu 등의 'Lost in the Middle' 연구(arXiv:2307.03172)는 충격적인 사실을 보였습니다. 긴 맥락의 중간에 놓인 정보는 모델이 잘 못 씁니다. 성능이 U자형을 그립니다 — 맨 앞과 맨 끝은 잘 쓰고, 가운데는 흘립니다. 즉 우리 브랜드 문서가 후보 20개 중 11번째에 끼면, 검색은 됐어도 답에는 안 실릴 수 있습니다.
비유하면 회의에서 첫 번째와 마지막 발언자는 기억에 남지만 가운데 발언자는 묻히는 것과 같습니다. 엔진마다 후보 개수, 정렬 알고리즘, 맥락 길이가 다르니 '가운데에 묻히는' 위치도 달라집니다. 같은 브랜드가 한 엔진에선 2등, 다른 엔진에선 14등으로 묻히는 일이 여기서 생깁니다.
핵심 데이터: 엔진별 인용이 실제로 얼마나 다른가
이건 이론이 아닙니다. 대규모 인용 분석(Profound, Discovered Labs 등)에서 나온 수치가 격차의 크기를 말해줍니다.
- ChatGPT와 Perplexity가 인용하는 도메인의 중복률은 약 11%에 불과합니다. 나머지 89%는 서로 다른 출처를 봅니다.
- 전체적으로 인용의 약 90%가 엔진마다 다릅니다.
- ChatGPT는 위키백과를 약 47.9% 비율로 인용합니다.
- Perplexity는 Reddit을 약 46.7% 비율로 인용합니다.
다시 말해, ChatGPT용 답과 Perplexity용 답은 거의 다른 인터넷을 보고 쓰는 셈입니다. "우리는 ChatGPT 최적화 끝냈어요"가 "Perplexity에서도 잘 나와요"를 전혀 보장하지 못하는 이유입니다.
엔진별 성향 — 같은 질문, 다른 취향
| 엔진 | 출처 성향 | 대응 시사점 |
|---|---|---|
| ChatGPT | 위키백과·커뮤니티 비중 큼 | 백과사전형 정의 문서, 위키 등재 여부가 영향 |
| Gemini | 구글 색인 + E-E-A-T(경험·전문성·권위·신뢰) | 구글 검색 신호와 저자 권위가 그대로 반영 |
| Claude | 근거 약한 콘텐츠를 보수적으로 걸러냄(Citations API) | 출처가 또렷하고 검증 가능한 문장이 유리 |
| Perplexity | 실시간 웹 + 인라인 인용, 커뮤니티(Reddit) 강함 | 최신성과 토론형 출처가 잘 걸림 |
| Grok | 실시간 웹 + X(트위터) 스트림 | 인용 정확도 편차 큼, 실시간 화제성 반영 |
같은 "○○ 브랜드 추천" 질문에도, Gemini는 구글에서 권위 있다고 본 페이지를, Perplexity는 방금 올라온 Reddit 스레드를, Claude는 근거가 또렷한 페이지만 골라 답합니다. 결과가 같을 수가 없습니다.
한국어의 결정적 변수: 네이버 차단이 만든 비대칭
여기까지는 글로벌 공통 구조입니다. 한국어에는 한 겹이 더 있습니다. 네이버가 외부 크롤러를 차단한다는 점입니다.
글로벌 AI 크롤러(GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, anthropic-ai, Google-Extended)는 robots.txt에서 허용된 곳만 읽어 후보로 올립니다. 그런데 한국 콘텐츠의 거대한 축인 네이버 블로그·카페는 이들에게 닫혀 있습니다. 그러면 글로벌 AI는 한국어 답을 어디서 가져올까요? 나무위키, 위키백과, 티스토리로 우회합니다. 즉 "한국어 검색 결과로 1위인 네이버 블로그"가 AI 답에서는 통째로 빠지고, 엉뚱하게 나무위키 서술이 브랜드의 '공식 설명'처럼 인용되는 비대칭이 생깁니다.
반면 네이버 자체 AI는 다른 게임입니다. 네이버는 큐:(Cue:)와 클로바X를 2026-04-09 종료하고, AI탭을 2026-06-25~26 전체 정식 출시했습니다(대화형·에이전틱). AI 브리핑(요약)은 이미 통합검색 쿼리의 20% 이상에 적용되고, 2026년 4월 기준 AI 브리핑 인용은 월 약 3.558억 건에 달합니다. 한 표본 분석(272건)에서는 인용 출처의 약 58%가 블로그였고, 약 49%가 검색 Top10 밖에서 인용됐습니다. 네이버 알고리즘은 C-Rank(출처 신뢰·전문성) + D.I.A.+(문서 의도)로 움직입니다.
정리하면 한국 시장에서 한 브랜드는 두 개의 분리된 우주를 동시에 공략해야 합니다.
| 우주 | 핵심 출처 | 공략 포인트 |
|---|---|---|
| 글로벌 AI(ChatGPT·Gemini·Perplexity·Claude) | 나무위키·위키백과·티스토리·자사 도메인(크롤러 허용 시) | robots.txt 허용 + 검증 가능한 자사 문서 + 위키류 정합성 |
| 네이버 AI탭/브리핑 | 네이버 블로그·카페 | C-Rank 신뢰·D.I.A.+ 의도 충족, 콘텐츠 5원칙(직접경험·일관주제·진정성·읽기쉬운구조·최신성) |
네이버는 창작자 보상 '네이버 메이트'(기본 월 30만 원 수준, 분야 1위는 월 1,000만 원 수준)로 양질 콘텐츠를 유인하고 있습니다. 즉 네이버 우주는 '돈을 쓸 가치가 있는 채널'로 설계되고 있다는 뜻입니다.
왜 robots.txt 한 줄이 인용 격차를 만드나
아주 실무적인 격차의 출발점은 의외로 단순합니다. AI 크롤러가 사이트에 들어올 수 있어야 후보(retrieval)에 진입합니다. 못 들어오면 그 뒤 단계는 시작도 안 됩니다.
# robots.txt — AI 크롤러 허용 예시
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
어떤 회사는 ClaudeBot은 막고 GPTBot만 열어둔 채 "왜 Claude에선 우리가 안 나오죠?"라고 묻습니다. 답은 robots.txt에 있습니다. 엔진별 인용 격차의 일부는 콘텐츠 품질이 아니라 접근 허용 설정의 불일치에서 옵니다.
콘텐츠를 어떻게 쓰면 더 인용되나 — GEO의 증거
그럼 후보에 들어간 뒤, 어떻게 써야 답에 인용될까요? 2023년 Aggarwal 등의 GEO 연구(arXiv:2311.09735, KDD 2024)가 직접적인 답을 줍니다. 통계 수치 추가, 출처 인용, 직접 인용문 추가가 생성 엔진에서의 가시성을 특정 조건에서 최대 약 40%까지 끌어올렸습니다. 단순히 키워드를 욱여넣는 게 아니라, '근거가 또렷한 문장'이 잘 인용된다는 뜻입니다.
이걸 실제 문장으로 보면 차이가 분명합니다.
❌ 약한 예: "저희 솔루션은 업계 최고 수준의 성능과 만족도를 자랑합니다."
✅ 강한 예: "2025년 자체 측정에서 응답 지연이 평균 1.2초로, 도입 전(3.4초) 대비 약 65% 단축됐습니다(측정 방법: n=1,200 요청, 사내 로그 기준)."
차이가 보이시나요? 약한 예는 '자랑'이고, 강한 예는 '추적 가능한 근거'입니다. cross-encoder가 질문과 함께 읽었을 때, 강한 예가 훨씬 높은 점수를 받습니다. Claude처럼 근거 약한 콘텐츠를 보수적으로 거르는 엔진에서는 이 차이가 인용 여부를 가릅니다.
하나 더.
❌ 약한 예: "많은 고객이 저희를 선택하고 있습니다."
✅ 강한 예: "국내 중소형 쇼핑몰 약 320곳이 도입했으며, 그중 재계약률은 12개월 기준 84%입니다."
답변 품질을 점검하는 지표로 RAGAS의 faithfulness(답변 주장이 출처에서 추적되는 정도)가 있습니다. 실무에서는 흔히 0.9 이상이면 안정, 0.7 미만이면 위험으로 봅니다(팀마다 기준은 다릅니다). 강한 예 같은 문장은 이 점수를 높이는 방향이고, 약한 예는 '출처 없는 주장'으로 분류돼 떨어집니다.
가장 불편한 진실: 측정 자체가 흔들린다
여기서 david로서 꼭 짚고 싶은 게 있습니다. 엔진별 격차를 측정할 때, 측정값 자체가 노이즈를 품고 있다는 점입니다. 이걸 모르면 "어제는 1위였는데 오늘은 빠졌어요"에 과민 반응하게 됩니다.
LLM은 temperature=0(가장 결정적인 설정)에서도 결과가 흔들립니다. GPU 연산 순서와 배치 처리 방식 때문입니다. 한 실험에서 2,350억 파라미터 모델을 1,000회 돌렸더니 80가지 출력이 나왔습니다. 6개 모델 480회 실험(arXiv:2602.14349)도 이 비결정성을 확인했습니다. AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용이 멱법칙(power law)을 따라 출렁이므로, 여러 번 실행 + 부트스트랩 신뢰구간을 권합니다. 단일 측정은 곧 노이즈입니다.
비유하면 주사위를 한 번 굴려 "이 주사위는 3이 잘 나온다"고 단정하는 것과 같습니다. 30번은 굴려야 분포가 보입니다. 그래서 진지한 측정은 같은 질문을 반복하고 평균과 신뢰구간을 봅니다.
프롬프트 '검색량'을 파는 도구도 조심해야 합니다. 사용자가 AI에게 실제로 뭘 물었는지는 정확히 측정 불가능합니다. 시중 수치는 시장의 1% 미만 패널을 모델링한 추정치입니다. Conductor의 표현을 빌리면 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"입니다(출처: Conductor Academy). 격차를 측정하되, 측정의 한계를 정직하게 알고 봐야 합니다.
그럼 무엇을 봐야 하나 — SOV와 결과 지표
실무에서 쓸 만한 지표는 SOV(Share of Voice)입니다. 특정 카테고리의 AI 답변들 중 우리 브랜드가 언급된 비율입니다. 단, 두 가지를 기억해야 합니다.
- 질문 세트가 결과를 좌우한다. 어떤 질문 50개를 고르느냐에 따라 SOV가 통째로 바뀝니다. 질문 선정이 곧 측정 설계입니다.
- 엔진 합산은 메커니즘을 가린다. 위에서 봤듯 엔진마다 출처가 다른데, 4개 엔진 평균 한 숫자로 뭉치면 '어디를 고쳐야 하는지'가 사라집니다. 엔진별로 분리해서 봐야 처방이 나옵니다.
그리고 가시성은 최종 목표가 아닙니다. Overdrive의 'CFO식 측정' 관점처럼, 가시성은 매출·리드(결과)를 설명하는 2차 지표입니다. 일부 분석에서는 AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 합니다(구체 수치는 사례마다 다르니 단정하지 않겠습니다). 의도가 또렷한 사용자가 AI를 거쳐 들어오기 때문입니다. 그래서 'AI 답에 몇 번 인용됐나'보다 '그 인용이 방문·전환으로 이어졌나'가 결국 더 중요합니다.
그래서 무엇을 해야 하나 — 격차 대응 체크리스트
- 엔진별로 따로 측정하라. 4개 평균이 아니라 ChatGPT·Gemini·Perplexity·Claude를 분리. 중복률이 11%에 불과하므로 한 엔진의 성과는 다른 엔진을 보장하지 않는다.
- 여러 번 측정하라. 단일 측정은 노이즈. 같은 질문을 반복하고 추이로 본다.
- robots.txt부터 점검하라. 모든 주요 AI 크롤러가 허용돼야 후보 진입.
- 문장을 GEO식으로 다시 써라. 통계·출처·직접 인용문 추가. 약한 자랑을 추적 가능한 근거로 교체.
- 한국은 두 우주를 동시에. 글로벌 AI는 나무위키·위키백과·자사 문서 정합성, 네이버는 블로그 C-Rank·D.I.A.+ 충족.
- 핵심 사실은 문서 앞과 끝에. Lost in the Middle을 피해 중요한 주장을 가운데 묻지 않는다.
- 가시성을 매출과 연결하라. 인용 자체가 아니라 인용→유입→전환을 추적.
Citeon은 이 원리를 제품에 담았다
지금까지의 메커니즘 — '엔진마다 다른 검색·재정렬', '한국어의 네이버 비대칭', '측정의 비결정성' — 은 그대로 Citeon의 설계 원칙입니다.
- 4엔진 분리 측정(SOV): Citeon은 ChatGPT·Gemini·Perplexity·Claude 네 엔진에서의 인용을 각각 따로 측정합니다. 중복률 11%라는 데이터가 말하듯, 합산 한 숫자로는 격차의 원인을 못 잡기 때문입니다. (참고로 Citeon이 측정하는 엔진은 이 4개이며, Grok은 측정 대상에 포함하지 않습니다 — 정직하게 밝힙니다.)
- 사이트 진단 엔진: robots.txt 허용, 근거형 문장 구조 등 후보 진입과 인용 가능성을 좌우하는 요소를 점검해 한국어 처방으로 돌려줍니다.
- 경쟁사 역추적: "왜 우리는 안 나오고 경쟁사는 나오나"를 엔진별로 역으로 추적합니다. 격차의 원인을 출처 단위로 드러냅니다.
- 주간 모니터 추이: 단일 측정의 노이즈를 추이로 흡수합니다. 한 번의 등락이 아니라 흐름으로 봅니다.
무엇보다, 모든 진단의 출발점은 무료(₩0)입니다. 내 브랜드가 네 엔진에서 각각 어떻게 인용되는지, 어디서 격차가 벌어지는지부터 확인해 보세요.
자주 묻는 질문 (FAQ)
ChatGPT에서 잘 나오면 Perplexity에서도 잘 나오나요?
아니요. 대규모 인용 분석에서 ChatGPT와 Perplexity의 인용 도메인 중복률은 약 11%에 불과합니다. 두 엔진은 사실상 다른 출처 집합을 보고 답하므로, 한 엔진의 성과가 다른 엔진을 보장하지 못합니다. 엔진별로 따로 측정하고 따로 대응해야 합니다.
한국어 콘텐츠는 네이버 블로그에 쓰면 AI에 잘 인용되나요?
엔진에 따라 갈립니다. 네이버 자체 AI(AI탭·AI 브리핑)에서는 블로그가 핵심 출처입니다(한 표본에서 인용의 약 58%가 블로그). 그러나 글로벌 AI(ChatGPT·Gemini 등)는 네이버 크롤러 차단 때문에 블로그를 거의 못 읽고, 나무위키·위키백과·티스토리로 우회합니다. 그래서 한국 브랜드는 두 채널을 동시에 공략해야 합니다.
왜 같은 질문인데 측정할 때마다 결과가 달라지나요?
LLM은 temperature=0에서도 GPU 연산·배치 처리 특성상 결과가 흔들립니다. 한 실험에서 대형 모델을 1,000회 돌렸더니 80가지 출력이 나왔습니다. 인용은 멱법칙으로 출렁이므로(arXiv:2603.08924), 단일 측정은 노이즈입니다. 여러 번 실행하고 추이·신뢰구간으로 봐야 의미가 있습니다.
인용되게 하려면 콘텐츠를 어떻게 써야 하나요?
통계 수치, 출처 인용, 직접 인용문을 더하세요. GEO 연구(arXiv:2311.09735)에서 이런 요소가 생성 엔진 가시성을 특정 조건에서 최대 약 40% 끌어올렸습니다. "업계 최고" 같은 근거 없는 자랑보다, "n=1,200 측정에서 평균 1.2초"처럼 추적 가능한 문장이 훨씬 잘 인용됩니다.
AI 검색 유입은 일반 검색보다 가치가 있나요?
일부 분석에서는 AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 합니다(사례마다 다르므로 단정하지는 않습니다). 의도가 또렷한 사용자가 AI 답을 거쳐 들어오기 때문으로 해석됩니다. 다만 가시성 자체보다 그것이 유입·전환으로 이어지는지를 함께 봐야 합니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation (arXiv:2005.11401)
- Karpukhin et al. (2020), Dense Passage Retrieval (arXiv:2004.04906)
- Liu et al. (2023), Lost in the Middle (arXiv:2307.03172)
- Aggarwal et al. (2023), GEO: Generative Engine Optimization (arXiv:2311.09735, KDD 2024)
- Anthropic (2024), Introducing Contextual Retrieval
- Conductor Academy, Debunking AI Prompt Volume