AI가 우리 브랜드를 틀리게 답한다면, 가장 먼저 할 일은 '항의'가 아니라 '어디서 그 오답이 들어왔는지'를 RAG 파이프라인 단계별로 진단하는 것이다. AI 검색은 사람처럼 악의로 거짓말하지 않는다. 검색(retrieval)→재정렬(reranking)→생성(generation)이라는 기계적 파이프라인의 어느 지점에 틀린 근거가 끼어들었거나, 맞는 근거가 아예 후보에 오르지 못했기 때문에 틀린 답이 나온다. 이 원리를 이해하면 정정은 '읍소'가 아니라 '엔지니어링'이 된다. 이 글은 AEO 리서처 관점에서, AI가 브랜드를 오답하는 메커니즘과 그것을 실제로 되돌리는 절차를 근거와 함께 정리한다.
먼저: AI는 왜 우리 브랜드를 '틀리게' 답하는가
정정을 하려면 병의 이름부터 정확해야 한다. AI가 브랜드를 잘못 말하는 방식은 크게 두 갈래로 나뉜다.
- 파라메트릭 오류(모델이 기억으로 지어냄): 모델의 학습 가중치 안에 흐릿하게 남은 옛 정보로 답을 지어낸다. RAG 원전(Lewis 등 2020, arXiv:2005.11401)은 언어모델의 지식을 두 종류로 나눴다. 가중치에 녹아든 파라메트릭 메모리와, 검색으로 외부에서 끌어오는 비파라메트릭 메모리다. 검색 없이 파라메트릭 메모리만으로 답하면, 모델은 '그럴듯하지만 낡거나 없는 사실'을 자신 있게 만들어낸다. 이게 좁은 의미의 할루시네이션이다.
- 검색 기반 오류(틀린 근거를 실제로 읽고 인용함): 요즘 ChatGPT·Perplexity·네이버 AI는 대부분 실시간으로 웹을 검색해 근거를 읽고 답한다. 이 경우 문제는 모델이 아니라 모델이 집어온 문서다. 경쟁사 비교글, 오래된 보도자료, 잘못된 위키 문서, 누군가의 커뮤니티 추측이 근거로 올라오면 AI는 그걸 충실히 요약해 인용한다. 모델 입장에선 거짓말이 아니라 '있는 자료를 읽은 것'이다.
비유하자면 첫째는 기억으로 대충 말하는 신입이고, 둘째는 잘못된 서류를 그대로 읽은 성실한 직원이다. 둘의 처방은 완전히 다르다. 전자는 '읽을 만한 정확한 문서를 세상에 존재하게' 만들어야 하고, 후자는 '틀린 그 문서보다 더 잘 검색되는 올바른 문서'를 만들어야 한다.
RAG 파이프라인 3단계로 오답을 해부한다
AI 답변이 만들어지는 경로는 도서관에서 답을 찾는 과정과 같다. 이 3단계 어디서 새는지를 알면 정정 지점이 보인다.
1단계 · 검색(retrieval) — 후보 문서를 긁어온다
사용자가 "OO 브랜드 환불 되나요?"라고 물으면, 시스템은 먼저 관련 있어 보이는 문서 수십 개를 후보로 끌어온다. 이때 두 가지 검색이 섞인다. 키워드가 정확히 겹치는 문서를 찾는 BM25(어휘 검색)과, 의미가 비슷한 문서를 찾는 임베딩(의미 검색)이다. 의미 검색은 도서관의 '주제를 아는 사서'이고, BM25는 '키워드 색인 카드'다. Dense Passage Retrieval 연구(Karpukhin 등 2020, arXiv:2004.04906)는 의미 검색이 전통적 BM25를 능가할 수 있음을 보였지만, 실무에서는 둘을 합친 하이브리드 검색이 가장 강하다. 공개 벤치마크 종합에서 recall@10은 의미 단독 ~78%, BM25 단독 ~65%인데 둘을 RRF로 결합하면 ~91%까지 올라간다.
여기서 새는 오답: 우리 브랜드의 정확한 정보 페이지가 애초에 이 후보 목록에 못 들어가면, AI는 그 존재조차 모른 채 옆집 문서로 답한다. 정정의 첫 관문은 "우리 팩트 페이지가 검색 후보에 잡히는가"다.
2단계 · 재정렬(reranking) — 진짜 관련 있는 것만 위로
후보를 다 쓸 수는 없다. 그중 질문에 가장 잘 맞는 몇 개를 골라 상위로 올리는 게 재정렬이다. cross-encoder 재정렬은 질문과 문서를 함께 읽어 관련도를 다시 매긴다. 사서가 뽑아온 책 10권을 실제로 펼쳐 목차를 대조하는 셈이다. 이 단계가 잘 되면 NDCG 같은 순위 품질 지표가 통상 +5~15포인트(까다로운 질의에선 ~20까지) 오른다.
여기서 새는 오답: 우리 문서가 후보엔 들어갔는데 애매하게 쓰여 상위로 못 올라가면, 결국 생성 단계에 전달되는 건 경쟁사·오래된 문서다. 질문 문장을 그대로 품은 자기완결적 단락이 재정렬에서 유리한 이유다.
3단계 · 생성(generation) — 올라온 근거로 답을 쓴다
모델은 상위 문서들을 읽고 최종 답을 조립한다. 그런데 여기 함정이 있다. Lost in the Middle 연구(Liu 등 2023, arXiv:2307.03172)에 따르면, 긴 맥락을 넣으면 모델의 정확도는 U자형을 그린다. 즉 맨 앞과 맨 끝의 정보는 잘 쓰고, 중간에 묻힌 핵심은 놓친다. 긴 회의록에서 중간 발언이 흐릿하게 기억되는 것과 같다.
여기서 새는 오답: 정확한 정보를 페이지 한복판 세 번째 문단에 묻어두면, AI가 그걸 읽고도 답에 반영하지 않을 수 있다. 정정하려는 핵심 사실(가격, 환불 정책, 회사명 표기, 대표 서비스)은 문서 앞머리와 마무리에 명시적으로 반복해야 한다.
오답 유형 진단표: 무엇이 틀렸는지부터 분류하라
정정은 유형별로 처방이 다르다. 먼저 어떤 오답인지 분류한다.
| 오답 유형 | 증상 예시 | 주된 발생 단계 | 1차 처방 방향 |
|---|---|---|---|
| 낡은 사실 | 이전 가격·구 서비스명·폐지된 정책을 현재형으로 답함 | 파라메트릭 / 오래된 검색문서 | 최신 팩트 페이지 신설 + 옛 문서 갱신·리다이렉트 |
| 존재하지 않는 사실 날조 | 없는 기능·수상·지점을 지어냄 | 파라메트릭(검색 근거 부재) | 권위 있는 근거 문서 자체를 존재하게 만들기 |
| 경쟁사/타사와 혼동 | 동명·유사명 브랜드 정보로 답함 | 검색·재정렬 | 엔티티 명확화(정식명·업종·소재지 명시) |
| 부정 프레이밍 인용 | 비방글·오래된 논란을 근거로 요약 | 검색(그 문서가 상위) | 더 강한 1차 출처로 검색 우위 확보 |
| 엔진 편향 오답 | 특정 엔진에서만 틀림 | 엔진별 소스 성향 차이 | 그 엔진이 선호하는 채널 공략 |
정정 플레이북: '항의'가 아니라 '근거 재배치'
핵심 원칙은 하나다. AI에게 따질 수는 없어도, AI가 읽는 근거는 우리가 바꿀 수 있다. 아래 순서로 움직인다.
① 진실의 출처(ground-truth) 페이지를 자기완결적으로 만든다
가장 먼저, 정정하려는 사실을 담은 '단일 정답 페이지'를 만든다. 이 페이지는 앞 문장만 읽어도 사실이 확정되게 써야 한다.
❌ 약한 예: "저희는 다양한 정책으로 고객을 만족시키기 위해 노력하고 있습니다."
→ 환불 가능 여부라는 사실이 문서 어디에도 명시되지 않음. AI가 인용할 문장이 없다.
✅ 강한 예: "OO(정식 상호: 주식회사 OO)는 구매 후 14일 이내 전액 환불을 제공합니다.
2026년 7월 기준, 단순 변심도 환불 대상입니다."
→ 주어·사실·시점이 한 문장에 있어 그대로 답변에 인용 가능.② 청크 단위로 문맥을 '자급자족'시킨다 (Contextual Retrieval)
AI 검색은 문서를 통째로 읽지 않고 청크(chunk)라는 조각으로 잘라 색인한다. 문제는, 문맥 없이 잘린 조각은 미아가 된다는 점이다. "이 제품은 무료로 제공됩니다"라는 문장만 떼어놓으면 '이 제품'이 뭔지 알 수 없다. Anthropic의 Contextual Retrieval(2024)은 각 청크 앞에 어느 문서·무엇에 관한 조각인지 맥락 한 줄을 붙이는 것만으로 검색 실패율을 35% 줄였고(5.7%→3.7%), 여기에 BM25를 더하니 49%, 재정렬까지 더하니 67% 감소했다고 보고했다. 권장 방식은 상위 20개 청크를 넉넉히 후보로 두는 것이다.
❌ 약한 예(문맥 없는 조각): "무료로 제공됩니다."
✅ 강한 예(문맥 자급): "[OO 브랜드 요금 안내] OO의 기본 진단 서비스는 무료(₩0)로 제공됩니다."비유하면, 이름표 없는 서류를 서랍에 넣으면 사서가 못 찾는다. 각 문단 앞에 '무엇에 관한 단락인지'를 명시하면, 잘려도 미아가 되지 않는다.
③ 통계·출처·직접 인용을 문서에 심는다 (GEO)
생성엔진이 어떤 문장을 골라 인용하는지에 관한 대표 연구가 GEO(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)다. 이 연구는 콘텐츠에 통계 수치, 출처 인용, 전문가 직접 인용문을 추가하면 생성엔진에서의 가시성이 특정 조건에서 최대 약 40%까지 오를 수 있다고 보고했다. 정정 페이지에도 같은 원리를 쓴다. "우리가 최고"라는 자평보다, 검증 가능한 수치와 1차 출처가 인용을 부른다.
❌ 약한 예: "업계 최고 수준의 배송 속도를 자랑합니다."
✅ 강한 예: "2026년 상반기 자체 집계 기준 평균 출고 시간은 6.2시간이며,
전량 국내 물류센터(경기 OO)에서 당일 출고됩니다."④ AI 크롤러가 우리 페이지를 읽게 허용한다 (robots.txt)
아무리 좋은 정정 페이지를 만들어도, AI 크롤러가 접근을 막혀 있으면 후보에조차 오르지 못한다. 정정 캠페인 전에 robots.txt부터 점검한다. 주요 AI 크롤러는 다음과 같다.
User-agent: GPTBot # OpenAI (ChatGPT 학습)
User-agent: OAI-SearchBot # OpenAI 검색
User-agent: PerplexityBot # Perplexity
User-agent: ClaudeBot # Anthropic
User-agent: anthropic-ai # Anthropic
User-agent: Google-Extended # Google (Gemini/AI Overviews)
Allow: /이들을 차단해 두면 우리 브랜드의 최신 사실은 AI의 검색 후보에 진입할 수 없다. 그 결과 AI는 차단되지 않은 제3자 문서(오래된 기사, 커뮤니티 글)로만 답하게 된다. 오답을 방치하는 셈이다.
엔진마다 '믿는 출처'가 다르다 — 정정도 엔진별로
중요한 사실 하나. AI 엔진들은 서로 다른 곳을 인용한다. 대규모 인용 분석(Profound·Discovered Labs 등)에서 ChatGPT와 Perplexity가 겹치는 도메인은 약 11%에 불과했고, 인용의 약 90%가 엔진마다 달랐다. 같은 질문에 ChatGPT는 위키백과를(인용의 ~47.9%), Perplexity는 Reddit을(~46.7%) 즐겨 참조하는 경향이 관찰됐다. 즉 한 엔진에서 틀렸다고 모든 엔진에서 틀린 게 아니고, 한 곳을 고쳤다고 모두 고쳐지지 않는다.
| 엔진 | 인용 성향 | 정정 시 노려야 할 채널 |
|---|---|---|
| ChatGPT | 위키백과·커뮤니티 편중 | 위키 정확성, 권위 있는 1차 문서 |
| Gemini | 구글 색인·E-E-A-T 신호 | 구글에 잘 색인되는 자사 공식 페이지 |
| Claude | 근거 약한 콘텐츠는 보수적으로 배제(Citations API) | 출처가 명확한 문서일수록 유리 |
| Perplexity | 실시간 웹·인라인 인용, Reddit 등 커뮤니티 | 최신성·커뮤니티 정합 |
| Grok | 실시간 웹 + X 스트림(인용 정확도 편차 큼) | X 상의 공식 발화·최신 게시 |
특히 Claude는 근거가 약한 콘텐츠를 보수적으로 걸러내는 성향이 있다. 이건 정정에 유리한 신호다. 출처가 튼튼한 정정 페이지는 Claude 같은 엔진에서 오히려 우위를 갖는다.
네이버: 크롤러 차단과 우회 경로를 함께 본다
국내 브랜드라면 네이버를 빼놓을 수 없다. 네이버는 큐:(Cue:)·클로바X를 2026-04-09 종료하고, AI 검색을 통합검색에 녹인 AI탭을 2026-06-25~26 정식 출시했다. 요약형 'AI 브리핑'은 통합검색 쿼리의 20% 이상에 적용되며, 2026년 4월 기준 월 약 3.558억 건의 인용이 발생한 것으로 집계됐다. 한 표본 분석(272건)에서 AI 브리핑이 인용한 출처의 약 58%가 블로그였고, 약 49%는 통합검색 Top10 밖의 문서였다. 즉 순위가 낮아도 인용될 수 있다는 뜻이다. 네이버는 C-Rank(출처 신뢰·전문성)와 D.I.A.+(문서 의도)로 콘텐츠를 평가하며, 콘텐츠 5원칙(직접 경험·일관된 주제·진정성·읽기 쉬운 구조·최신성)을 강조한다.
한 가지 구조적 함정: 네이버는 외부 크롤러를 차단하기 때문에, 글로벌 AI(ChatGPT·Perplexity 등)는 네이버 블로그 원문을 직접 못 읽고 나무위키·위키백과·티스토리 같은 개방된 경로로 우회해 브랜드 정보를 가져온다. 그래서 네이버에서만 정확한 정보를 갖춰두면, 글로벌 AI에는 우회 경로의 낡은 정보가 반영될 수 있다. 국내외 정정은 양쪽 채널을 함께 관리해야 한다.
정정 효과를 어떻게 '측정'하나 — 단일 측정을 믿지 마라
정정 페이지를 올린 뒤 "이제 맞게 나오나?"를 한 번 물어보고 판단하면 안 된다. 여기가 david가 특히 강조하는 지점이다. LLM 출력은 temperature=0에서도 흔들린다. GPU 연산 순서와 배치 처리 때문이다. 한 실험에서는 2,350억 파라미터 모델에 같은 질문을 1,000번 넣었을 때 80가지 서로 다른 출력이 나왔다. 6개 모델 480회 실험(arXiv:2602.14349)도 이 비결정성을 보고한다. AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용이 멱법칙처럼 출렁이므로, 여러 번 실행한 뒤 부트스트랩 신뢰구간으로 판단하라고 권한다.
비유하면 단일 측정은 주사위를 한 번 굴려 '이 주사위는 3이 나온다'고 단정하는 것과 같다. 정정이 먹혔는지 보려면 같은 질문을 여러 번, 여러 엔진에서, 추이로 봐야 한다. 한 번 맞게 나왔다고 끝난 게 아니고, 한 번 틀렸다고 실패한 것도 아니다.
❌ 약한 검증: "방금 ChatGPT에 물어보니 맞게 나오네요. 정정 완료!"
✅ 강한 검증: "핵심 질문 10개 × 4개 엔진 × 주 3회 반복 측정.
오답 인용률이 지난 2주 40% → 이번 주 12%로 하락(추이 확인)."참고로 '이 질문이 한 달에 몇 번 검색되나' 같은 프롬프트 볼륨 수치는 대부분 실측이 아니라 소수 패널(시장 1% 미만) 기반 추정이다. Conductor는 "신뢰할 수 없는 검색량 데이터는 없느니만 못하다"고 지적한다. 측정에서 정직해야 정정 효과도 정직하게 읽힌다.
위기관리 타임라인: 오답 발견부터 정정까지
- 발견·기록: 어느 엔진에서 어떤 질문에 무슨 오답이 나오는지 스크린샷과 함께 기록. 여러 번 반복해 '재현되는 오답'인지 확인(1회성 노이즈 배제).
- 분류: 위 진단표로 유형 판정(낡음/날조/혼동/부정프레이밍/엔진편향).
- 근거 추적: 검색 기반 오답이면, AI가 어떤 문서를 근거로 인용하는지 역추적. 그 문서가 우리 것이면 수정, 제3자 것이면 더 강한 문서로 덮기.
- 정답 페이지 제작: 자기완결·문맥청크·통계/출처 삽입·핵심을 앞뒤에 배치.
- 크롤러 개방·색인 유도: robots.txt 허용, 사이트맵 제출, 내부 링크 연결.
- 엔진별 채널 보강: 위키 정확화, 커뮤니티 정합, 네이버 블로그·티스토리 등 우회 경로 관리.
- 다중 측정으로 추적: 주기적 반복 측정으로 오답 인용률 하락을 추이로 확인.
Citeon은 이 원리를 제품에 담았다
위 플레이북에서 가장 손이 많이 가는 두 가지가 '어느 엔진에서 어떻게 틀리는지 반복 측정'과 '경쟁사가 어떤 근거로 인용되는지 역추적'이다. Citeon은 이 두 지점을 도구로 만들었다.
- 4개 엔진 인용 측정(SOV): ChatGPT·Gemini·Perplexity·Claude에서 브랜드가 어떻게 언급·인용되는지를 측정한다. 엔진마다 인용이 다르다는 사실을 반영해, 합산이 아니라 엔진별로 본다.
- 사이트 진단엔진: URL을 넣으면 SEO/AEO/GEO 관점에서 정답 페이지가 AI에 잘 읽힐 구조인지(자기완결성·문맥·근거) 점수와 한국어 처방을 준다.
- 경쟁사 역추적: 우리 대신 경쟁사가 인용될 때, 어떤 근거·구조로 이기는지 되짚어 정정 전략의 재료로 쓴다.
- 주간 모니터 추이: 단일 측정의 함정을 피하려고, 시간에 따른 변화를 추이로 보여준다. 오답 인용률이 정말 내려갔는지 추적할 수 있다.
지금 우리 브랜드가 AI 답변에서 어떻게 나오는지 궁금하다면, 무료 진단(₩0)으로 현재 상태부터 확인해 볼 수 있다. → citeon.cloud에서 무료 AI 가시성 진단 받기
자주 묻는 질문 (FAQ)
AI가 우리 브랜드를 틀리게 답하면 해당 회사(OpenAI 등)에 신고해서 지울 수 있나요?
대부분의 경우 개별 답변을 직접 삭제 요청하는 것은 현실적 해법이 아닙니다. AI 답변은 저장된 문장이 아니라 그때그때 검색·생성되는 결과이기 때문입니다. 더 확실한 방법은 AI가 읽는 근거 자체를 바꾸는 것입니다. 정확한 자기완결 페이지를 만들고, AI 크롤러가 읽도록 허용하고, 통계·출처로 인용 가치를 높이면, 다음 생성부터 근거가 교체됩니다. 명백한 명예훼손·허위사실은 별도의 법적 대응 대상이 될 수 있지만, 일상적 오답 정정은 '근거 재배치'가 정공법입니다.
정정 페이지를 만들면 얼마나 빨리 AI 답변이 바뀌나요?
엔진과 크롤링 주기에 따라 다릅니다. Perplexity처럼 실시간 검색 비중이 큰 엔진은 새 문서가 색인되면 비교적 빨리 반영되는 편이고, 학습 가중치에 의존하는 부분은 더 느립니다. 중요한 건 '한 번 바뀌었다'가 아니라 '반복 측정에서 오답 인용률이 추세적으로 내려간다'로 판단하는 것입니다. LLM은 같은 질문에도 답이 흔들리므로(temperature=0에서도), 단일 확인이 아니라 여러 번·여러 엔진 추이로 봐야 합니다.
경쟁사 정보와 우리 브랜드가 자꾸 섞여서 답변됩니다. 어떻게 하나요?
엔티티 혼동 오류입니다. 검색·재정렬 단계에서 유사한 이름·업종의 문서가 우리 것보다 상위로 올라올 때 발생합니다. 처방은 '엔티티 명확화'입니다. 정식 상호, 업종, 소재지, 대표 서비스명을 문서 앞머리에 명시적으로 못박고, 각 청크에도 브랜드명을 문맥으로 붙여(예: "[OO 브랜드]…") 잘려도 미아가 되지 않게 합니다. 동명 브랜드가 있다면 구분 짓는 수식어(지역·업종)를 일관되게 반복하는 것이 도움이 됩니다.
네이버에서는 맞게 나오는데 ChatGPT에서는 틀립니다. 왜 이런가요?
엔진마다 인용하는 출처가 다르기 때문입니다. 한 분석에서는 ChatGPT와 Perplexity가 겹치는 도메인이 약 11%뿐이었습니다. 게다가 네이버는 외부 크롤러를 차단해, 글로벌 AI는 네이버 블로그 원문을 직접 못 읽고 나무위키·위키백과·티스토리 같은 개방 경로로 우회해 정보를 가져옵니다. 그 우회 경로에 낡은 정보가 남아 있으면 ChatGPT는 틀리게 답할 수 있습니다. 국내(네이버)와 글로벌(개방 경로) 채널을 함께 관리해야 하는 이유입니다.
오답이 '진짜 재현되는 문제'인지, 그냥 한 번의 노이즈인지 어떻게 구분하나요?
같은 질문을 여러 번 반복해 보면 됩니다. LLM 출력은 비결정적이라, 한 실험에서는 큰 모델에 같은 질문을 1,000번 넣었을 때 80가지 출력이 나왔습니다. 따라서 한 번 틀렸다고 해서 구조적 오답이라고 단정할 수 없고, 반대로 한 번 맞았다고 안심할 수도 없습니다. 핵심 질문 세트를 정해 여러 엔진에서 주기적으로 반복 측정하고, 오답이 '자주·반복적으로' 나오는지를 인용률 추이로 판단하세요. 부트스트랩 신뢰구간처럼 여러 실행을 종합하는 접근이 권장됩니다. 재현되는 오답만 정정 우선순위에 올리면 자원 낭비를 막을 수 있습니다.
정정 효과가 나타나면 매출로도 이어지나요?
가시성은 그 자체가 목적이 아니라 매출·리드를 설명하는 2차 지표로 보는 것이 정확합니다. 다만 일부 분석에서는 AI 검색을 통한 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 했습니다(구체 수치는 사례마다 달라 단정하긴 어렵습니다). AI는 이미 어느 정도 의도가 선명해진 사용자에게 답을 주기 때문입니다. 따라서 오답을 정정해 정확한 브랜드 정보가 인용되게 만드는 것은 방어(평판)이자 동시에 질 좋은 유입을 여는 공격이기도 합니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain QA
- Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts
- Aggarwal et al. (2023/KDD 2024), GEO: Generative Engine Optimization
- Anthropic (2024), Introducing Contextual Retrieval
- LLM 출력 비결정성 실험 (6개 모델 480회)
- AI 가시성 불확실성 정량화 (다중 실행·부트스트랩 신뢰구간)
- Conductor, Debunking AI Prompt Volume