결론부터: AI 인용 감성(sentiment) 점수를 단일 숫자로 보고하는 순간, 그 보고서는 거의 틀렸다고 봐야 한다. 같은 질문을 같은 엔진에 두 번 던져도 답이 흔들리고, 한 문장 안에서 칭찬과 단서가 섞이며, 그것을 다시 LLM에게 채점시키면 채점자마저 흔들린다. 그래서 '우리 브랜드 감성 72점, 경쟁사 65점'이라는 한 줄은 측정이 아니라 노이즈일 가능성이 높다. 이 글은 그로스 리드 관점에서 AI 인용 감성 측정이 무너지는 지점을 RAG 메커니즘으로 하나씩 해부하고, 노이즈를 신호로 바꾸는 보정 절차를 실제 문장 대조와 함께 정리한다.
인용 감성이란 무엇이고, 왜 측정하고 싶어지나
AI 가시성(visibility)은 '얼마나 자주 언급되는가'를 본다. SOV(Share of Voice)가 대표 지표다. 그런데 자주 언급돼도 그 톤이 나쁘면 의미가 다르다. "A 브랜드는 가성비는 좋지만 고객지원이 느립니다"라는 인용은 노출이지만 호의는 아니다. 인용 감성은 바로 이 톤 — AI 답변이 브랜드를 긍정/중립/부정 중 어떻게 묘사하는가 — 를 점수화하려는 시도다.
욕망은 정당하다. 매출을 숫자로 말해야 하는 입장에서, 노출량만으로는 "이 노출이 매출을 돕는가 해치는가"를 설명할 수 없기 때문이다. 문제는 측정 대상이 사람의 글이 아니라 확률적으로 매번 새로 생성되는 텍스트라는 점이다. 여기서부터 함정이 시작된다.
먼저 RAG를 알아야 함정이 보인다
현대 AI 검색 답변은 대부분 RAG(retrieval→reranking→generation) 구조로 만들어진다. 세 단계를 일상 비유로 보자.
- retrieval(검색) = 도서관에서 질문과 관련 있어 보이는 책 수십 권을 일단 뽑아 오는 단계. 키워드 색인(BM25)과 의미 임베딩(dense)을 함께 쓰는 하이브리드가 표준이다. 키워드 색인은 '제목에 그 단어가 있는 책'을 빠르게 찾고, 임베딩은 '단어는 달라도 주제가 같은 책'을 아는 사서 역할을 한다.
- reranking(재정렬) = 뽑아 온 책들을 질문과 나란히 다시 읽어 보고 진짜 도움 되는 순서로 줄 세우는 단계. cross-encoder가 질문과 후보를 함께 읽어 정밀하게 점수를 매긴다.
- generation(생성) = 상위 몇 권만 책상에 펼쳐 놓고 답을 쓰는 단계. 이때 어떤 구절을 인용하고 어떤 톤으로 요약하는지가 곧 '인용 감성'이 된다.
RAG의 원전인 Lewis 등(2020, arXiv:2005.11401)은 모델 내부에 학습된 지식(파라메트릭 메모리)과 외부에서 끌어온 문서(비파라메트릭 메모리)를 결합하는 구조를 제안했다. 핵심은 답의 톤이 '모델이 원래 아는 것'과 '이번에 끌어온 문서'의 합작이라는 점이다. 끌어오는 문서가 바뀌면 톤이 바뀐다. 그리고 무엇이 끌려올지는 매 실행마다 미세하게 달라진다. 감성 측정의 첫 번째 적이 바로 이 변동성이다.
함정 1 — 단일 측정은 측정이 아니라 표본 하나다
가장 흔한 오해는 "temperature=0으로 고정하면 답이 똑같이 나온다"는 믿음이다. 실제로는 그렇지 않다. GPU 부동소수점 연산 순서와 배치 구성 때문에, 온도를 0으로 둬도 LLM 출력은 흔들린다. 한 대규모 모델을 같은 프롬프트로 1,000회 돌렸더니 80가지 서로 다른 출력이 나온 사례가 보고됐고, 6개 모델 480회 실험(arXiv:2602.14349)에서도 같은 비결정성이 확인됐다.
가시성 인용 자체도 멱법칙(power-law)처럼 출렁인다는 분석(arXiv:2603.08924)은, 단일 실행으로 인용 여부·톤을 단정하지 말고 다중 실행 + 부트스트랩 신뢰구간으로 불확실성을 정량화하라고 권한다. 감성은 이보다 더 취약하다. 인용 여부는 0/1이지만, 감성은 같은 인용 안에서도 "가성비 좋다"(긍정)와 "지원 느리다"(부정)가 한 문장에 공존할 수 있기 때문이다.
| 접근 | 나오는 결과 | 신뢰도 |
|---|---|---|
| 질문 1개 × 1회 실행 → 감성 점수 | "감성 80점" | 거의 운(노이즈) |
| 질문 30개 × 각 5회 실행 → 긍정 비율 + 신뢰구간 | "긍정 62%, 95% CI 54~70%" | 의사결정 가능 |
❌ 약한 보고: "이번 주 우리 브랜드 AI 인용 감성은 80점입니다."
✅ 강한 보고: "질문 30개를 엔진별 5회씩 돌린 결과, 긍정 인용 비율 62%(95% 신뢰구간 54~70%), 지난주 58%와 통계적으로 구분되지 않음 — 아직 개선됐다고 말할 수 없습니다."
함정 2 — 채점자가 흔들린다 (LLM이 LLM을 평가)
감성 측정 도구 대부분은 AI가 생성한 답변을 다시 다른 LLM에게 "이 문장은 우리 브랜드에 긍정/중립/부정 중 무엇인가?"라고 물어 채점한다. 그런데 채점하는 LLM도 같은 비결정성을 갖는다. 측정 대상도 확률적이고, 측정 도구도 확률적이다. 자(尺)가 고무줄인 셈이다.
여기에 더 미묘한 문제가 겹친다. 우리 글로벌 규칙에서도 강제하듯, 같은 모델로 자기 결과를 평가하면 확증 편향(confirmation bias)이 들어간다. 답변을 생성한 엔진과 감성을 채점하는 엔진이 같으면, 그 엔진 특유의 어휘 습관을 '긍정'으로 후하게 읽을 위험이 있다.
❌ 약한 설계: ChatGPT가 쓴 답변을 ChatGPT에게 채점시킨다.
✅ 강한 설계: 답변 생성 엔진과 채점 엔진을 분리하고, 채점은 근거 콘텐츠를 보수적으로 거르는 성향의 중립 엔진(예: Claude 계열)에 맡긴다. 그리고 채점도 1회가 아니라 여러 번 돌려 다수결을 취한다.
함정 3 — 감성은 맥락 의존적이다 (같은 인용도 질문 따라 달라진다)
"A는 저가형으로 적합하다"는 문장은 '저렴한 입문용 추천해줘'라는 질문에선 강한 긍정이지만, '프리미엄 best는?'이라는 질문에선 사실상 탈락 통보다. 감성은 문장 자체가 아니라 질문-답변 쌍의 맥락에서 결정된다. 따라서 질문 세트를 무엇으로 잡느냐가 감성 점수를 통째로 좌우한다.
여기서 'Lost in the Middle'(Liu 등 2023, arXiv:2307.03172)이 끼어든다. 긴 맥락에서 LLM은 가운데에 놓인 정보를 잘 잃어버리는 U자형 경향을 보인다. 즉 retrieval이 우리 브랜드 근거를 끌어왔더라도, 그게 컨텍스트 중간에 묻히면 답변에 약하게 반영되거나 톤이 흐려진다. 인용은 됐는데 감성이 미지근한 결과가 여기서 자주 나온다.
❌ 약한 질문 세트: "우리 브랜드 어때?" 같은 브랜드 직격 질문만 모은다 → 답이 과하게 긍정으로 쏠려 현실을 못 본다.
✅ 강한 질문 세트: 고객이 실제로 던지는 카테고리 질문("OO 입문용 추천", "OO 가성비 vs 프리미엄", "OO 단점")을 의도별로 균형 있게 구성하고, 부정 의도 질문("OO 단점/불만")을 일부러 포함해 톤의 바닥까지 측정한다.
함정 4 — 엔진마다 성향이 다른데 합산해 버린다
인용 출처와 성향은 엔진마다 크게 다르다. 대규모 인용 분석에서 ChatGPT와 Perplexity의 도메인 중복은 약 11%에 그쳤고, 인용의 약 90%가 엔진마다 달랐다. ChatGPT는 위키백과 비중이 약 47.9%로 높고, Perplexity는 Reddit 비중이 약 46.7%로 높았다(출처: Profound/Discovered Labs 등).
| 엔진 | 성향 | 감성 측정 함의 |
|---|---|---|
| ChatGPT | 위키·커뮤니티 의존 | 정제된 톤, 커뮤니티 불만이 섞이면 부정 유입 |
| Perplexity | 실시간·인라인 인용, Reddit 비중 큼 | 최신 여론에 민감 — 감성이 빠르게 출렁 |
| Gemini | 구글 색인·E-E-A-T 가중 | 권위 신호 약하면 톤도 박해짐 |
| Claude | 근거 약한 콘텐츠를 보수적으로 필터 | 과장에 후하지 않음 → 채점/중립 측정에 유리 |
이렇게 메커니즘이 다른 엔진들의 감성을 하나로 평균 내면, 정작 어디서 톤이 나빠지는지가 가려진다. ChatGPT에선 호의적인데 Perplexity에선 부정적이라면, 처방은 'Reddit/커뮤니티에서의 평판 관리'여야 한다. 합산 점수는 이 처방을 숨긴다. 엔진별로 쪼개야 행동이 나온다.
함정 5 — 측정이 매출을 설명한다고 착각한다
감성 점수가 오르면 매출이 오를까? 가시성·감성은 결과(매출·리드)를 설명하려는 2차 지표(leading indicator)일 뿐, 그 자체가 목적이 아니다. CFO 식으로 말하면 "감성 +5점"은 영수증이 아니다. 일부 분석에서 AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 하지만(구체 수치는 단정 금지), 그렇다고 감성 점수와 매출이 선형으로 연결된다는 보장은 없다.
프롬프트 볼륨(특정 질문이 실제로 얼마나 많이 입력되는지)은 실측이 거의 불가능하고, 패널 기반 모델링 추정치에 불과하다. Conductor는 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 지적한다. 감성도 마찬가지다. 정밀해 보이는 가짜 숫자는, 솔직한 '모름'보다 위험하다.
그래서 어떻게 보정하나 — 5단계 프로토콜
함정을 알았으니 신호를 만드는 절차로 넘어가자. 핵심은 비율 + 신뢰구간 + 분리 보고다.
1) 다중 실행으로 비율과 신뢰구간을 낸다
질문당 단일 답이 아니라 N회(예: 5회) 반복해 긍정/중립/부정 비율을 구하고, 부트스트랩으로 신뢰구간을 붙인다. 비율의 표준오차는 다음으로 빠르게 가늠할 수 있다.
# 긍정 비율 p에 대한 95% 신뢰구간 (정규근사)
# n = 전체 (질문 × 실행) 관측 수
import math
p = 0.62 # 관측된 긍정 비율
n = 150 # 질문 30 × 실행 5
se = math.sqrt(p * (1 - p) / n) # 표준오차
ci = (p - 1.96 * se, p + 1.96 * se)
# → 약 0.54 ~ 0.70 : 이 폭보다 작은 주간 변화는 '개선'이라 부르지 않는다
이 신뢰구간보다 작은 변동은 노이즈로 간주하고 보고에서 "유의미한 변화 없음"으로 적는다. 이것만 지켜도 보고서의 70%는 정직해진다.
2) 채점 엔진을 중립으로 격리한다
답변을 생성한 엔진과 감성을 채점하는 엔진을 분리한다. 채점은 과장에 후하지 않은 보수적 엔진에 맡기고, 채점 자체도 다중 실행 다수결로 안정화한다. "생성 ≠ 채점"은 측정 위생의 기본이다.
3) 감성은 3분류 + 근거 스팬으로 남긴다
단순 점수(80점)가 아니라 긍정/중립/부정 3분류 + 근거가 된 실제 문장(span)을 함께 저장한다. 그래야 "왜 부정으로 잡혔는가"를 사람이 검증할 수 있고, 분류기의 오판도 잡힌다. 근거 추적성은 RAGAS의 faithfulness 개념과 같은 정신이다 — 주장이 출처에서 추적되는 정도를 보는 것.
❌ 약한 기록: { "sentiment": 0.8 }
✅ 강한 기록: { "label": "mixed", "positive_span": "가성비가 뛰어나다", "negative_span": "AS 응대가 느리다는 후기", "engine": "perplexity", "query": "OO 가성비" }
4) 엔진별·세그먼트별로 쪼개 보고한다
합산 금지. 엔진별, 질문 의도별(추천형/비교형/단점형)로 나눠 어디서 톤이 무너지는지 짚는다. 그래야 처방이 나온다 — "Perplexity의 단점형 질문에서 부정 비율 41% → 커뮤니티 후기 대응 필요"처럼.
5) 감성은 2차 지표로 다루고, 결과(매출·리드)와 나란히 둔다
감성을 매출의 대리지표로 단정하지 말고, 어트리뷰션(유입→전환→매출)과 같은 화면에 올려 상관을 관찰만 한다. 인과로 비약하지 않는다.
왜 콘텐츠 자체도 바꿔야 하나 — GEO가 감성에 미치는 영향
측정만 정직해진다고 감성이 좋아지진 않는다. 생성 단계에서 AI가 우리 브랜드를 호의적으로 요약하게 하려면, retrieval이 끌어오는 우리 콘텐츠가 인용하기 좋아야 한다. GEO 연구(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)는 통계·출처 인용·직접 인용문을 본문에 더하면 생성엔진 가시성이 특정 조건에서 최대 약 40%까지 오를 수 있다고 보고했다.
Anthropic의 Contextual Retrieval(2024)은 청크에 맥락을 덧붙이면 검색 실패율이 35% 줄고(5.7%→3.7%), BM25 하이브리드까지 더하면 49%, reranking까지 더하면 67%까지 줄었다고 보고한다(top-20 권장). 즉 맥락이 명확한 콘텐츠는 더 잘 끌려오고, 더 정확하게 요약되며, 결과적으로 톤도 안정된다. 하이브리드 검색의 recall@10은 공개 벤치마크 종합에서 의미 단독 약 78%, BM25 단독 약 65%, 하이브리드(RRF) 약 91% 수준이다 — 우리 근거를 끌어올 확률 자체가 콘텐츠 구조에 달려 있다는 뜻이다.
❌ 약한 본문: "저희 제품은 매우 우수합니다." (근거 없음 → 보수적 엔진이 걸러내고, 끌려와도 톤이 안 산다)
✅ 강한 본문: "독립 시험기관 측정에서 동급 대비 소음 30% 낮음(출처 표기). 사용자 1,200명 설문에서 재구매 의향 84%." (수치·출처·인용 → 끌려오기 쉽고, 호의적으로 요약된다)
한국 시장 특수성 — 네이버를 빼면 절반을 놓친다
한국에서 AI 인용 감성을 본다면 네이버를 무시할 수 없다. 네이버 AI 브리핑(요약)은 통합검색 쿼리의 20% 이상에 적용되고, AI 브리핑 인용은 2026년 4월 기준 월 약 3.558억 건에 이른다. 한 표본분석(272건)에서는 인용 출처의 약 58%가 블로그였고, 약 49%가 검색결과 Top10 밖에서 인용됐다. 네이버는 외부 크롤러를 차단하기 때문에 글로벌 AI는 나무위키·위키백과·티스토리 등으로 우회 인용하는 경향이 있다. 같은 브랜드라도 네이버 생태계에서의 톤과 글로벌 엔진에서의 톤이 다를 수 있다는 뜻이고, 이것 역시 엔진별 분리 측정이 필요한 이유다.
또한 글로벌 엔진 후보에 들려면 robots.txt에서 AI 크롤러(GPTBot·OAI-SearchBot, PerplexityBot, ClaudeBot·anthropic-ai, Google-Extended)를 허용해야 한다. 크롤러가 막혀 있으면 인용 후보에조차 못 들어가고, 그러면 감성을 논할 데이터 자체가 없다.
Citeon은 이 원리를 제품에 담았다
Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진에서 브랜드 인용을 측정한다(SOV). 위에서 정리한 보정 원칙을 그대로 제품 동작에 반영했다.
- 4엔진 분리 측정 — 합산이 아니라 엔진별로 인용을 쪼개 보여줘, 어디서 톤이 무너지는지(예: 커뮤니티 의존 엔진에서의 부정 유입)를 짚을 수 있게 한다.
- 중립 엔진 격리 — 측정의 채점이 자기 답을 자기가 평가하는 오염을 피하도록 설계했다. 생성과 측정을 섞지 않는 위생을 지킨다.
- 주간 모니터 추이 — 단일 측정이 아니라 반복 추이로 변동을 보여줘, 노이즈를 추세로 오인하지 않게 한다.
- 사이트 진단엔진 + 경쟁사 역추적 — 인용·감성이 약한 원인을 콘텐츠 구조(수치·출처·인용문 부재)에서 찾아 처방하고, 경쟁사가 어떻게 인용되는지 역으로 분석한다.
지금 우리 브랜드가 AI 답변에서 어떻게 인용되고 있는지, 톤이 어디서 무너지는지 무료로 진단해 볼 수 있다(₩0). citeon.cloud에서 무료 진단 받기.
자주 묻는 질문
감성 점수 하나로 보고하면 안 되나요? 임원 보고엔 단순한 숫자가 편한데요.
단일 숫자 자체가 금지는 아닙니다. 다만 그 숫자에는 반드시 신뢰구간과 표본 크기(질문 수 × 실행 수)를 붙이세요. "긍정 62%(95% CI 54~70%, 질문 30 × 5회)"처럼요. 숫자만 있고 구간이 없으면, 다음 주에 58%가 나왔을 때 '하락'인지 '노이즈'인지 구분할 수 없습니다.
temperature를 0으로 고정하면 매번 같은 답이 나오지 않나요?
아닙니다. GPU 부동소수점 연산 순서와 배치 구성 때문에 온도 0에서도 출력이 흔들립니다. 한 대규모 모델을 1,000회 돌렸을 때 80가지 출력이 나온 사례가 있습니다. 그래서 단일 실행이 아니라 다중 실행이 필요합니다.
엔진별로 점수가 다른데 어떤 엔진을 믿어야 하나요?
하나만 믿지 마세요. 엔진마다 인용 출처와 성향이 다릅니다(ChatGPT는 위키, Perplexity는 Reddit 비중이 큼). '믿을 엔진'을 고르는 게 아니라, 고객이 실제로 쓰는 엔진들을 각각 따로 측정해 어디서 톤이 약한지 찾고 그 채널을 처방하는 것이 맞습니다.
감성을 올리면 매출이 오르나요?
감성은 매출을 설명하려는 2차 지표이지, 매출 그 자체가 아닙니다. AI 유입의 전환율이 일반 검색보다 높게 나타나는 분석도 있지만 구체 수치를 단정할 수는 없습니다. 감성은 어트리뷰션(유입→전환→매출)과 같은 화면에 두고 상관을 관찰하되, 인과로 비약하지 않는 것이 정직한 방법입니다.
콘텐츠를 어떻게 바꿔야 톤이 좋아지나요?
AI가 인용하기 좋은 콘텐츠로 바꾸세요. 구체적 수치, 출처 표기, 직접 인용문을 본문에 더하면 생성엔진 가시성이 특정 조건에서 최대 약 40%까지 오른다는 연구가 있습니다(GEO, KDD 2024). "매우 우수합니다" 같은 근거 없는 자랑은 보수적 엔진이 걸러내고, 끌려와도 톤이 살지 않습니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain QA
- Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts
- Aggarwal et al. (2023), GEO: Generative Engine Optimization (KDD 2024)
- Anthropic (2024), Introducing Contextual Retrieval
- AI 가시성 불확실성 정량화 — 멱법칙 변동과 부트스트랩 신뢰구간
- Conductor, Debunking AI Prompt Volume