AI가 우리 브랜드를 틀리게 말하는 건 '거짓말'이 아니라 '잘못 검색하고, 잘못 조합한' 결과입니다. ChatGPT가 우리 회사 대표 제품을 단종된 옛 모델로 소개하거나, Perplexity가 경쟁사 가격을 우리 가격이라고 인용하거나, 네이버 AI가 우리 매장을 '폐업'으로 요약하는 일—이건 모델이 악의로 지어낸 게 아닙니다. AI 검색은 (1) 우리에 대한 문서를 찾아오고(retrieval), (2) 그중 답에 쓸 것을 추리고(reranking), (3) 그걸 문장으로 엮습니다(generation). 이 세 단계 어딘가에서 오래된 청크, 경쟁사 페이지, 맥락 잘린 조각이 끼어들면, 모델은 그걸 사실로 믿고 매끄럽게 말합니다. 그래서 오정보 대응은 '항의'가 아니라 'AI가 읽는 원천 자료를 고치는 일'입니다. 이 글은 yujin이 바로 따라 할 수 있게, 왜 틀리는지부터 어떻게 잡아내고 어떻게 정정하는지까지 체크리스트로 정리했습니다.
왜 AI는 우리 브랜드를 '자신 있게' 틀리게 말할까
핵심 원리부터 짚겠습니다. 요즘 AI 검색은 모델이 외운 지식만으로 답하지 않습니다. 질문이 들어오면 외부 문서를 실시간으로 찾아와 그걸 근거로 답을 만듭니다. 이 구조를 RAG(Retrieval-Augmented Generation)라고 부르는데, Lewis 등이 2020년에 제안한(arXiv:2005.11401) 방식입니다. 모델 안에 굳어 있는 '파라메트릭 기억'과, 그때그때 찾아오는 '비파라메트릭 기억(외부 문서)'을 결합한다는 아이디어죠. 비유하자면 기억으로만 말하는 사람과 도서관에서 자료를 찾아 들고 말하는 사람의 차이입니다. 후자가 더 정확할 것 같지만, 잘못된 책을 집어 오면 오히려 더 자신 있게 틀립니다. 출처가 손에 있으니까요.
오정보가 생기는 지점을 세 단계로 쪼개 보겠습니다.
1단계 — Retrieval(검색): 엉뚱하거나 낡은 문서를 집어 온다
AI는 질문을 의미 벡터로 바꿔 비슷한 문서를 찾습니다(Dense Passage Retrieval, Karpukhin 등 2020, arXiv:2004.04906 — 의미 기반 검색이 단순 키워드 매칭 BM25를 능가한다는 걸 보였죠). 문제는 '의미가 비슷한 것'이 '사실이 맞는 것'과 다르다는 점입니다. 우리 브랜드명으로 검색하면 3년 전 보도자료, 단종 제품 리뷰, 경쟁사 비교글이 의미적으로 똑같이 '우리 얘기'로 잡혀 옵니다. 그중 최신·정확한 문서가 후보에 안 들어오면, 그 다음 단계가 아무리 똑똑해도 답은 틀립니다. 틀린 답의 70%는 여기서 결정됩니다. 우리에 대한 정확한 최신 문서가 아예 검색 후보에 없으면, AI는 남아 있는 낡은 조각으로 빈칸을 채웁니다.
2단계 — Reranking(재정렬): 경쟁사 문서가 윗자리를 차지한다
검색이 후보 수십 개를 가져오면, 그중 질문에 가장 맞는 것을 다시 줄 세웁니다(cross-encoder reranking). 이 재정렬은 답 품질을 크게 끌어올리는데(공개 벤치마크에서 NDCG가 5~15포인트, 어려운 질의에선 20포인트 가까이 오르기도 합니다), 반대로 말하면 여기서 윗자리를 못 잡으면 그 문서는 답에 안 쓰입니다. 우리 공식 페이지보다 경쟁사의 잘 쓰인 비교글이 질문과 더 '맞아' 보이면, AI는 경쟁사 프레임으로 우리를 설명합니다. 우리 단점을 강조한 남의 글이 답의 근거가 되는 거죠.
3단계 — Generation(생성): 조각들을 매끄럽게 '메꾼다'
마지막으로 모델이 추려진 조각들을 한 문단으로 엮습니다. 이때 두 가지가 겹쳐 오정보가 굳습니다. 첫째, 맥락이 잘린 청크(chunk)입니다. 긴 페이지를 잘게 쪼개 저장하다 보면 '2021년 기준'이라는 단서가 떨어져 나간 가격 숫자만 덜렁 남습니다. 문맥 없이 잘린 문장은 미아와 같아서, 모델은 그 숫자가 언제 것인지 모른 채 '현재 가격'으로 말합니다. Anthropic이 2024년 공개한 Contextual Retrieval 실험은 이 문제를 정면으로 다뤘는데, 각 청크에 원래 맥락을 한 줄 붙여 주는 것만으로 검색 실패율이 35% 줄었고(5.7%→3.7%), 키워드 검색(BM25)을 더하면 49%, 재정렬까지 얹으면 67%까지 줄었습니다. 뒤집어 보면, 맥락 없는 조각은 그만큼 자주 틀리게 검색된다는 뜻입니다.
둘째, 위치에 따른 정보 손실입니다. Liu 등의 2023년 'Lost in the Middle' 연구(arXiv:2307.03172)는 모델에게 긴 맥락을 줄 때 중간에 있는 정보를 잘 놓친다는 U자형 패턴을 보여 줬습니다. 핵심은 맨 앞과 맨 끝에 둬야 잘 쓰인다는 거죠. 긴 회의록의 중간 페이지가 흐릿하게 기억되는 것과 똑같습니다. 그래서 우리 정정 정보가 페이지 한가운데 묻혀 있으면, AI가 그 페이지를 읽어도 정작 그 사실을 안 씁니다.
| 오정보 유형 | 실제 증상 | 주로 발생하는 단계 |
|---|---|---|
| 낡은 사실(가격·라인업·대표) | 단종 제품/옛 가격을 현재처럼 말함 | Retrieval(낡은 청크) |
| 경쟁사 프레임 오염 | 남이 쓴 비교글 관점으로 우리를 설명 | Reranking(경쟁사 상위) |
| 맥락 탈락 | '한정판/특정 조건' 단서가 빠진 단정 | Generation(잘린 청크) |
| 존재 자체 누락/혼동 | 동명 브랜드와 섞이거나 '정보 없음' | Retrieval(후보 부재) |
| 폐업·중단 오인 | 로컬 AI가 '운영 안 함'으로 요약 | Retrieval(오래된 지도/리뷰) |
먼저 알아야 할 함정: '한 번 봤더니 멀쩡하던데요?'
오정보 탐지에서 가장 흔한 실수는 한 번 물어보고 안심하는 것입니다. AI 답변은 같은 질문이라도 매번 흔들립니다. 온도(temperature)를 0으로 고정해도 GPU 연산 순서·배치 처리 때문에 출력이 달라집니다. 한 분석에서는 2,350억 파라미터급 모델에 같은 프롬프트를 1,000번 넣었더니 80가지 서로 다른 출력이 나왔고, 6개 모델 480회 실험(arXiv:2602.14349)에서도 같은 흔들림이 확인됐습니다. 더 나아가 AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 브랜드 인용 빈도가 멱법칙(power law)으로 출렁인다는 걸 보이며, 단일 측정 대신 여러 번 실행한 뒤 부트스트랩 신뢰구간으로 봐야 한다고 권합니다.
비유하면 주사위를 한 번 굴려 보고 '이 주사위는 3이 나오는구나'라고 단정하는 것과 같습니다. 오정보도 마찬가지예요. 10번 중 2번만 틀리게 말하는 항목은 한 번 봐선 안 잡힙니다. 그래서 탐지는 '여러 번, 여러 엔진, 여러 질문'이 기본입니다.
- ❌ 약한 탐지: "ChatGPT에 한 번 물어보니 맞게 답하네요. 문제없어요."
- ✅ 강한 탐지: "4개 엔진 × 핵심 질문 12개 × 각 3회 = 144회 답변을 모아, 틀린 답이 몇 %에서 재현되는지 봤습니다. '대표 제품' 질문이 ChatGPT에서 3회 중 2회 단종 모델을 언급합니다."
엔진마다 '오정보의 출처'가 다르다
정정 전략을 짜려면 어느 엔진이 어떤 자료를 믿는지를 알아야 합니다. 대규모 인용 분석을 보면 ChatGPT와 Perplexity가 같은 질문에 인용한 도메인이 겹치는 비율은 약 11%에 불과했고, 인용의 약 90%가 엔진마다 달랐습니다. ChatGPT는 위키백과 비중이 높고(약 47.9%), Perplexity는 Reddit 같은 커뮤니티 비중이 높습니다(약 46.7%). 즉 같은 오정보라도 뿌리가 엔진마다 다릅니다. ChatGPT가 틀리면 위키·커뮤니티의 낡은 서술을, Perplexity가 틀리면 Reddit 스레드를 의심해야 합니다.
| 엔진 | 잘 믿는 출처 | 오정보 잡는 우선 포인트 |
|---|---|---|
| ChatGPT | 위키백과·커뮤니티 | 위키 문서/오래된 정설화된 서술 |
| Perplexity | 실시간 웹·Reddit, 인라인 인용 | 커뮤니티 스레드·최신 기사 |
| Gemini | 구글 색인·E-E-A-T 신호 | 구글에 색인된 권위 페이지 |
| Claude | 근거 약한 콘텐츠는 보수적으로 배제, Citations API | 출처 명확한 1차 자료 확보 |
| Grok | 실시간 웹+X 스트림(인용 정확도 편차) | X상의 잘못된 언급·루머 |
한국 시장이라면 네이버를 따로 봐야 합니다. 네이버 AI 브리핑은 2026년 4월 한 달 기준 월 약 3.558억 건 인용 규모로, 통합검색 쿼리의 20% 이상에 적용될 만큼 노출이 큽니다. 그런데 네이버는 외부 크롤러를 막기 때문에, 글로벌 AI들은 네이버 본문 대신 나무위키·위키백과·티스토리를 통해 우리를 간접적으로 읽습니다. 그래서 국내 브랜드의 오정보는 종종 '나무위키의 낡은 문단'에서 출발해 ChatGPT까지 번집니다. 한 표본 분석(272건)에서는 네이버 AI 인용 출처의 약 58%가 블로그였고, 약 49%는 통합검색 Top10 밖 문서였습니다. 표본 경향이긴 하지만, 상위 노출만 관리하면 된다는 통념이 AI 답변에선 깨진다는 신호입니다.
탐지 플레이북: 5단계 체크리스트
여기서부터는 그대로 따라 하면 되는 절차입니다.
① 질문 세트부터 고정한다
측정 결과는 질문이 좌우합니다. 우리 브랜드에 대해 고객이 실제로 물을 법한 질문을 카테고리별로 적습니다.
[브랜드 사실] "OO는 어떤 회사야?" / "OO 대표 제품은?"
[가격·조건] "OO 가격 얼마야?" / "OO 환불 정책은?"
[비교] "OO랑 □□ 중 뭐가 나아?"
[신뢰·평판] "OO 믿을 만해?" / "OO 단점은?"
[운영 상태] "OO 아직 영업해?" (로컬/매장형 필수)② 4개 엔진 × 각 3회 이상 돌린다
ChatGPT·Perplexity·Gemini·Claude(국내라면 네이버 AI까지)에서 같은 질문을 각 3회 이상 던지고 답을 그대로 캡처합니다. 비결정성 때문에 1회는 노이즈입니다.
③ 답을 '사실 단위'로 쪼개 대조한다
한 답변을 통째로 보지 말고 주장 단위로 분해해 진실 표와 맞춥니다. RAG 평가에서 쓰는 faithfulness 개념이 그대로 적용됩니다—답의 각 주장이 실제 출처에서 추적되는가? 실무에선 이 지표가 0.9 이상이면 안정, 0.7 미만이면 위험 신호로 봅니다(팀마다 기준은 다릅니다). 오정보 점검도 똑같이 '문장마다 근거가 있나'를 봅니다.
- ❌ 약한 기록: "ChatGPT가 우리 회사 설명을 좀 이상하게 함"
- ✅ 강한 기록: "주장1 대표제품=A(❌, 현재 B) / 주장2 설립연도=2018(✅) / 주장3 가격=12만원(❌, 현재 9.9만원) — 3회 중 2회 재현, 출처 추정: 2021년 보도자료"
④ 오정보를 '뿌리 문서'까지 역추적한다
Perplexity처럼 인라인 인용을 보여 주는 엔진은 클릭해서 근거 URL을 확인합니다. 인용을 안 보여 주는 엔진은 그 틀린 사실을 검색엔진에 그대로 쳐서 어떤 페이지가 그렇게 말하는지 찾습니다. 정정의 90%는 이 '뿌리 문서'를 찾는 데서 끝납니다. 낡은 보도자료인지, 경쟁사 비교글인지, 나무위키 문단인지, 옛 지도 정보인지.
⑤ 심각도 × 빈도로 우선순위를 매긴다
| 심각도\빈도 | 자주 재현(2/3+) | 가끔(1/3) |
|---|---|---|
| 매출 직결(가격·환불·폐업오인) | 🔴 즉시 정정 | 🟠 이번 주 |
| 평판(단점·비교) | 🟠 이번 주 | 🟡 모니터링 |
| 경미(설립연도 등) | 🟡 모니터링 | ⚪ 기록만 |
정정 플레이북: AI가 다시 읽고 고쳐 말하게 하는 법
오정보를 잡았다면 이제 고칠 차례입니다. 핵심 원칙 한 줄: AI에게 따지지 말고, AI가 읽는 자료를 바꿔라. 각 RAG 단계에 대응하는 처방이 있습니다.
처방 1 — '정정 정답지' 페이지를 만든다(Retrieval 후보 진입)
AI가 우리에 대한 정확한 최신 문서를 검색 후보로 갖고 있지 않으면, 낡은 조각으로 빈칸을 메웁니다. 그래서 가장 먼저 할 일은 우리 사이트에 명확한 사실 페이지를 만드는 겁니다. 질문에 곧장 답하는 형식(answer-first), 자기완결적 단락으로요.
- ❌ 약한 페이지: "저희는 늘 고객과 함께 성장해 온 브랜드로서 다양한 제품을 선보이고 있습니다." (사실 단위가 없어 검색에 안 걸리고, 걸려도 인용할 문장이 없음)
- ✅ 강한 페이지: "OO의 2026년 현재 대표 제품은 B 모델입니다. A 모델은 2024년 단종됐습니다. 현재 가격은 9.9만원입니다(2026년 6월 기준)." (사실·시점이 한 문장에 박혀 잘려도 살아남음)
여기서 'Contextual Retrieval' 교훈을 적용하세요. 각 사실에 시점·조건을 같은 문장 안에 넣으면, 청크가 잘려도 미아가 되지 않습니다. '9.9만원'만 떼어지면 또 틀리지만 '9.9만원(2026년 6월 기준)'은 떼어져도 안전합니다.
처방 2 — 통계·출처·인용문으로 '인용당하기 좋게' 만든다(Reranking 상위 진입)
우리 페이지가 후보엔 들어도 윗자리를 못 잡으면 답에 안 쓰입니다. 어떻게 써야 AI가 더 잘 끌어 쓸까요? Aggarwal 등의 GEO 연구(2023, arXiv:2311.09735, KDD 2024)가 정답에 가깝습니다. 본문에 관련 통계, 출처 인용, 전문가 직접 인용문을 더했더니 생성형 엔진에서의 가시성이 특정 조건에서 최대 약 40%까지 올랐습니다. 키워드를 욱여넣는 옛날 SEO 트릭보다 이쪽이 훨씬 효과가 컸습니다.
- ❌ 약한 문장: "우리 제품은 만족도가 매우 높습니다."
- ✅ 강한 문장: "2026년 자체 고객 조사(n=1,240)에서 재구매 의향이 82%로 나타났으며, 한국소비자원 기준 환불 처리 평균 2.1일입니다." (숫자·출처·시점이 박혀 AI가 그대로 인용하기 좋음)
그리고 'Lost in the Middle'을 기억하세요. 정정하려는 핵심 사실은 페이지 맨 앞과 결론부에 두 번 배치합니다. 중간에만 묻어 두면 AI가 읽고도 안 씁니다.
처방 3 — 엔진이 믿는 '제3 출처'를 손본다
오정보의 뿌리가 우리 사이트 밖이라면(나무위키 문단, 옛 보도자료, 커뮤니티 스레드), 거기를 고쳐야 합니다. 글로벌 AI가 한국 브랜드를 나무위키·위키백과로 읽는다는 점을 떠올리면, 해당 위키 문서의 사실 오류를 출처와 함께 정정하는 게 ChatGPT 답을 바꾸는 가장 빠른 길일 때가 많습니다(편집 규칙을 지키고, 1차 출처를 함께 제시). 옛 보도자료는 정정 보도자료를 새로 내 색인을 갈아끼웁니다.
처방 4 — 구조화 데이터로 '사실의 뼈대'를 박는다
사람이 읽는 문장과 별개로, 기계가 읽는 구조화 데이터(Schema.org의 Organization·Product·FAQPage 등)를 넣으면 사실이 모호해질 여지가 줄어듭니다. 가격·영업상태·대표 제품을 구조화해 두면, '폐업 오인' 같은 로컬 오정보를 줄이는 데 특히 효과적입니다.
처방 5 — 크롤러부터 열어 둔다(가장 흔한 누락)
아무리 좋은 정정 페이지를 만들어도, AI 크롤러가 막혀 있으면 검색 후보에 못 들어갑니다. robots.txt에서 주요 AI 크롤러를 허용했는지 먼저 확인하세요.
User-agent: GPTBot # OpenAI 학습/검색
Allow: /
User-agent: OAI-SearchBot # ChatGPT 검색
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot # anthropic-ai 도 함께
Allow: /
User-agent: Google-Extended # Gemini/구글 AI
Allow: /❌ "네이버 노출만 신경 쓰느라 robots.txt에서 글로벌 크롤러를 통째로 막아 둠" → AI 답변 후보에 영영 진입 불가. ✅ "공개해도 되는 페이지는 AI 크롤러 허용, 민감 경로만 차단" — 이게 정정의 출발선입니다.
정정 후, 반드시 '여러 번' 재측정한다
고쳤다고 끝이 아닙니다. AI가 새 자료를 다시 색인하고 답에 반영하기까지 시간이 걸리고, 앞서 말한 비결정성 때문에 좋아졌는지 판단도 통계로 해야 합니다. 정정 전후를 같은 질문 세트로 여러 번 돌려 '틀린 답 재현율'이 줄었는지를 봅니다. 단일 측정으로 '이제 맞게 나오네'라고 단정하는 건 다시 주사위 한 번 굴리는 실수입니다. 부트스트랩 신뢰구간까지 보면 더 단단하지만, 최소한 '전 3/3 오답 → 후 0/3 오답'처럼 빈도 변화를 기록하세요.
| 항목 | 정정 전 | 정정 후(2주) |
|---|---|---|
| '대표 제품' 오답(ChatGPT, 3회) | 2회 | 0회 |
| '가격' 오답(Perplexity, 3회) | 3회 | 1회 |
| '영업 상태' 오인(네이버, 3회) | 1회 | 0회 |
Citeon은 이 원리를 제품에 담았다
지금까지의 플레이북—여러 엔진에서 반복 측정하고, 오정보를 사실 단위로 잡고, 뿌리 문서를 역추적하고, 정정 후 재측정하는 일—을 매주 손으로 하기는 벅찹니다. Citeon은 정확히 이 흐름을 제품으로 만들었습니다.
- 4개 엔진 인용 측정(SOV) — ChatGPT·Gemini·Perplexity·Claude에서 우리 브랜드가 어떻게 언급되는지를 모아, 한 번이 아니라 추이로 봅니다. 엔진마다 인용 출처가 90% 다르다는 현실을 그대로 반영합니다.
- 사이트 진단엔진 — URL을 넣으면 SEO·AEO·GEO 관점에서 점수와 한국어 처방을 줍니다. answer-first 구조, 사실의 시점 표기, 크롤러 허용 여부 같은 '정정이 먹히는 토대'를 점검합니다.
- 경쟁사 역추적 — 우리 자리에 경쟁사가 인용되고 있다면, 그들이 어떤 자료로 윗자리를 잡았는지 거꾸로 분석합니다(Reranking 상위 전략의 단서).
- 주간 모니터 추이 — 정정 작업 후 오정보 재현율이 실제로 줄었는지를 매주 추적합니다. 단일 측정의 함정을 피하도록 설계됐습니다.
우리 브랜드를 AI가 지금 어떻게 말하고 있는지 궁금하다면, 비용 없이 시작할 수 있습니다. Citeon 무료 AI 가시성 진단(₩0)으로 현재 상태부터 확인해 보세요. 진단·처방 리포트를 이메일로 보내 드립니다.
자주 묻는 질문
AI가 우리 브랜드를 틀리게 말하면 그 회사(OpenAI 등)에 신고하면 되나요?
신고 창구가 있는 엔진도 있지만, 그것만으로는 근본 해결이 어렵습니다. AI는 외부 문서를 실시간으로 찾아와 답하기 때문에, 그 '읽는 자료'가 그대로면 다시 틀리게 말합니다. 더 빠르고 확실한 방법은 오정보의 뿌리 문서(낡은 보도자료·위키 문단·경쟁사 글)를 찾아 정정하고, 우리 사이트에 시점이 박힌 정확한 사실 페이지를 만드는 것입니다.
한 번 물어봤을 때 맞게 답하면 안심해도 되나요?
아니요. AI 답변은 같은 질문이라도 매번 흔들립니다. temperature를 0으로 둬도 출력이 달라지며, 한 분석에서는 같은 프롬프트 1,000회에 80가지 출력이 나왔습니다. 핵심 질문은 엔진별로 최소 3회 이상 돌려 '틀린 답이 몇 %에서 재현되는지'를 봐야 합니다.
국내 브랜드인데 네이버만 관리하면 충분한가요?
충분하지 않습니다. 네이버는 외부 크롤러를 막기 때문에 글로벌 AI(ChatGPT 등)는 네이버 본문 대신 나무위키·위키백과·티스토리로 우리를 읽습니다. 그래서 국내 오정보가 위키 문단에서 출발해 글로벌 AI까지 번지기 쉽습니다. 네이버 AI탭·AI 브리핑과 글로벌 엔진을 함께 봐야 합니다.
정정 페이지를 만들었는데 AI 답이 안 바뀝니다. 왜죠?
세 가지를 점검하세요. (1) AI 크롤러(GPTBot·PerplexityBot·ClaudeBot·Google-Extended)가 robots.txt에서 허용됐는지, (2) 핵심 사실이 페이지 맨 앞과 끝에 있는지(중간에 묻히면 'Lost in the Middle' 현상으로 잘 안 쓰입니다), (3) 재색인에 시간이 걸리니 1~2주 뒤 여러 번 재측정했는지. 또한 통계·출처·인용문을 더하면 인용 확률이 올라갑니다.
어떤 오정보부터 고쳐야 하나요?
심각도와 빈도를 곱해 우선순위를 매기세요. 가격·환불·폐업 오인처럼 매출에 직결되고 자주 재현되는 오정보가 1순위입니다. 설립연도 같은 경미한 오류는 기록만 해 두고 모니터링합니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain QA
- Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts
- Aggarwal et al. (2023), GEO: Generative Engine Optimization (KDD 2024)
- Anthropic (2024), Introducing Contextual Retrieval