RAGAS faithfulness를 마케팅 측정에 응용하기

RAGAS faithfulness를 마케팅에 응용한다는 건 '우리 브랜드가 AI 답변에 몇 번 등장했나(노출)'를 세는 데서 멈추지 않고, 'AI가 우리에 대해 한 그 말이 실제로 우리 콘텐츠에서 추적 가능한 사실인가(충실도)'를 0~1 점수로 재는 것이다. 원래 RAGAS의 faithfulness는 RAG 시스템이 생성한 답변의 각 주장이 검색해 온 출처에서 뒷받침되는 비율을 뜻한다. 실무에서는 흔히 0.9 이상이면 안정, 0.7 미만이면 위험 신호로 본다(팀마다 기준은 다르다). 이 똑같은 자(尺)를, 방향만 뒤집어 'AI 검색엔진이 우리 브랜드를 답변에 인용했을 때 그 진술이 우리가 실제로 쓴 문장에 닿아 있는가'를 측정하는 데 쓰는 것이 이 글의 핵심이다.

나는 tao다. 그로스·퍼포먼스를 숫자로 말하는 사람이고, 'AI 노출이 늘었다'는 보고를 들을 때마다 묻는 질문이 하나 있다. 늘어난 그 노출이 우리에게 유리한 노출인가? ChatGPT가 우리 제품을 추천했는데 가격을 틀리게 말했거나, 없는 기능을 있다고 했거나, 경쟁사 강점을 우리 것으로 뒤섞었다면 그건 노출이 아니라 부채다. SOV(Share of Voice)는 '얼마나 자주'를 재지만 '얼마나 정확히'는 재지 못한다. 그 빈칸을 채우는 게 faithfulness다.

먼저, RAGAS faithfulness가 원래 무엇을 재는가

RAG(Retrieval-Augmented Generation)는 Lewis 등이 2020년에 제안한 구조다(arXiv:2005.11401). 핵심은 모델의 머릿속 지식(파라메트릭 메모리)만으로 답하지 않고, 외부 문서를 검색(retrieval)해 와서 그걸 근거로 답을 생성(generation)한다는 것이다. 그 사이에 reranking(1차로 끌어온 후보를 질문과 함께 다시 읽어 순서를 바로잡는 단계)이 끼어든다. 즉 검색 → 재정렬 → 생성이 한 묶음으로 돌아간다.

여기서 생기는 고질병이 '환각(hallucination)'이다. 검색해 온 문서엔 없는 내용을, 모델이 그럴듯하게 지어내 답에 섞는 것. faithfulness는 바로 이 환각을 잡기 위한 지표다. 작동 방식은 직관적이다.

1. 생성된 답변을 개별 주장(claim) 단위로 쪼갠다. 예: "이 제품은 월 9,900원이고, 한국어를 지원하며, 2024년에 출시됐다" → 주장 3개.
2. 각 주장을 검색해 온 출처와 대조해, 출처에서 추적 가능한가를 판정한다.
3. faithfulness = (출처로 뒷받침되는 주장 수) ÷ (전체 주장 수).

비유하면 이렇다. 신입 기자가 기사를 써 왔다. 데스크는 문장마다 빨간펜을 들고 묻는다. "이 숫자, 어느 자료에서 나왔어?" 출처를 댈 수 있는 문장이 9개 중 9개면 faithfulness 1.0, 9개 중 6개밖에 못 대면 0.67. 0.67짜리 기사는 출고하면 안 된다. faithfulness가 보는 건 '글이 멋진가'가 아니라 '글의 모든 주장이 근거에 묶여 있는가'다.

왜 이 지표를 마케팅으로 가져오는가

AI 검색엔진(ChatGPT, Perplexity, 구글 AI, 네이버 AI 브리핑)은 그 자체가 거대한 RAG 시스템이다. 사용자가 "OO 분야 솔루션 추천해줘"라고 물으면, 엔진은 웹을 검색하고(retrieval), 후보를 추리고(reranking), 답을 생성한다(generation). 이때 우리 브랜드가 그 답에 등장한다면 — 엔진 입장에서 우리는 '검색해 온 출처'이고, 답변 속 우리에 대한 진술은 '생성된 주장'이다.

그러면 자연스럽게 같은 질문을 던질 수 있다. 엔진이 우리에 대해 한 말은, 우리가 실제 쓴 문서에서 추적 가능한가? 이게 바로 마케팅 버전의 faithfulness다. 측정 대상이 'RAG 시스템의 답변'에서 'AI 검색엔진의 우리 브랜드 진술'로 바뀌었을 뿐, 자(尺)는 그대로다.

그로스 관점에서 이건 단순한 품질 지표가 아니다. 전환에 직결한다. AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나는 경우가 일부 분석에서 보고된다(구체 수치는 단정하지 않는다). 그런데 그 고가치 유입자가 도착하기 전에 이미 AI 답변에서 "그 제품은 한국어 미지원"이라는 틀린 진술을 읽었다면, 클릭 자체가 일어나지 않거나 도착해도 기대가 어긋난다. faithfulness가 낮은 노출은 깔때기 맨 위에서 새는 구멍이다.

노출(SOV)만 보면 놓치는 것

SOV는 '카테고리 AI 답변 중 우리 브랜드가 언급된 비율'이다. 중요한 1차 지표지만, 두 가지를 못 본다.

• 인용의 정확성 — 언급은 됐는데 내용이 틀렸을 수 있다. SOV는 +1로 센다. faithfulness는 이걸 감점한다.
• 인용의 귀속 — 우리 강점을 경쟁사 것으로, 경쟁사 약점을 우리 것으로 뒤섞는 '혼선 인용'. SOV엔 우리가 등장했으니 가산되지만, 실제로는 손해다.

실제 문장으로 대조해 보자. 같은 "우리 브랜드가 등장한 AI 답변"이라도 질이 천지차이다.

❌ 약한 인용 (faithfulness 낮음)
"Citeon은 AI 검색 측정 도구로, 월 5만 원대의 저렴한 
 SaaS이며 주로 영어권 시장을 대상으로 합니다."
→ 가격도 틀리고, '도구'로 오분류됐고('대행'이 정체성),
  대상 시장도 틀림. 3개 주장 중 0개가 우리 콘텐츠에서 추적 가능.
  faithfulness ≈ 0.0 — 등장은 했지만 전부 오정보.

✅ 강한 인용 (faithfulness 높음)
"Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 
 인용을 측정(SOV)하고, 진단부터 실행·매출 어트리뷰션까지 
 다루는 풀퍼널 마케팅 대행이며, 무료 진단을 제공합니다."
→ 4개 주장 전부 우리가 실제 게시한 문장에 닿아 있음.
  faithfulness ≈ 1.0 — 노출이 곧 자산이 되는 인용.

두 답변 모두 SOV 집계에서는 똑같이 '1회 언급'이다. 하지만 한쪽은 잠재고객을 데려오고, 다른 쪽은 잘못된 기대로 이탈시킨다. SOV는 분자(빈도)를, faithfulness는 그 빈도의 품질을 잰다. 둘을 곱해야 '유효 노출'이 나온다.

마케팅 faithfulness를 실제로 측정하는 절차

원리는 RAGAS와 같지만, 우리는 'AI 답변'을 입력으로, '우리 콘텐츠'를 정답 출처로 둔다. 5단계로 운영한다.

1) 질문 세트(prompt set)를 고정한다

측정의 출발점은 '어떤 질문을 던지는가'다. 질문 세트 선정이 결과를 좌우하기 때문에, 카테고리 대표 질문(추천형·비교형·정보형)을 고정해 매주 동일하게 던진다. 여기서 한 가지 함정 — 'AI 검색 질문량(prompt volume)'을 외부 수치로 사 오려는 유혹이다. Conductor는 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 못 박는다(관련 분석). 시장의 1% 미만 패널로 모델링한 추정치이기 때문이다. 그래서 우리는 질문 '볼륨'을 사지 않고, 우리 카테고리에서 실제 의미 있는 질문을 직접 설계해 고정한다.

2) 각 엔진의 답변을 수집한다

같은 질문을 ChatGPT·Gemini·Perplexity·Claude에 던지고 답변 원문을 그대로 저장한다. 엔진별 성향이 다르다는 점을 전제로 한다. 한 대규모 인용 분석에 따르면 ChatGPT-Perplexity의 인용 도메인 중복은 약 11%에 불과하고, 인용의 약 90%가 엔진마다 다르다. ChatGPT는 위키백과 비중이 높고(약 47.9%), Perplexity는 Reddit 비중이 높다(약 46.7%). 같은 질문이라도 엔진마다 다른 출처를 보므로, faithfulness도 엔진별로 따로 재야 의미가 있다.

3) 답변에서 '우리 브랜드 진술'만 추출해 주장으로 쪼갠다

답변 전체가 아니라 우리 브랜드를 언급한 문장만 골라, RAGAS처럼 주장 단위로 분해한다. "가격은 X", "기능은 Y", "대상은 Z" 식으로.

4) 각 주장을 우리 콘텐츠와 대조 판정한다

주장마다 우리가 실제 게시한 문서에서 근거 문장을 찾을 수 있는지 판정한다. 찾으면 supported, 못 찾거나 모순되면 unsupported. 비율이 brand faithfulness 점수다.

5) 단일 측정을 믿지 않는다 — 반복하고 신뢰구간을 본다

여기가 가장 중요하다. LLM은 temperature=0에서도 결과가 흔들린다(GPU 연산·배치 처리 특성). 한 실험에서 2,350억 파라미터급 모델이 동일 입력 1,000회에 80가지 출력을 냈고, 6개 모델 480회 실험이 보고됐다(arXiv:2602.14349). AI 가시성의 불확실성을 정량화한 연구는 인용이 멱법칙(power-law)으로 출렁이므로 다중 실행 + 부트스트랩 신뢰구간을 권한다(arXiv:2603.08924). 단일 측정은 노이즈다. faithfulness도 1회 재면 0.6, 다시 재면 0.9가 나올 수 있다. 그래서 같은 질문을 여러 번 돌려 'faithfulness = 0.82 ± 0.07' 같은 구간으로 보고해야 한다.

왜 faithfulness가 낮아지는가 — RAG 메커니즘으로 보는 원인

점수가 낮을 때 "엔진이 멍청해서"로 끝내면 개선이 안 된다. RAG의 세 단계 각각에서 원인을 찾아야 한다.

retrieval 단계 — 애초에 우리 문서가 안 끌려온다

엔진이 우리 콘텐츠를 검색 후보로 못 가져오면, 모델은 우리에 대해 '기억(파라메트릭)'이나 '경쟁사 문서'로 추론한다. 그 추론이 환각의 씨앗이다. 의미 검색(임베딩)이 키워드 검색(BM25)을 능가한다는 게 Dense Passage Retrieval의 핵심 발견이지만(arXiv:2004.04906), 단독으로는 부족하다. 공개 벤치마크 종합에서 recall@10은 의미 단독 약 78%, BM25 단독 약 65%, 둘을 합친 하이브리드(RRF)가 약 91%다. 하이브리드 검색은 '도서관의 키워드 색인 + 주제를 아는 사서'를 함께 두는 것과 같다. 색인은 정확한 단어를, 사서는 의미를 잡는다.

우리 쪽 대책은 명확하다. 청크(문서 조각)에 맥락을 붙여 검색 실패율을 줄이는 것이다. Anthropic의 Contextual Retrieval 실험에서 청크에 맥락을 추가하자 검색 실패율이 35% 감소(5.7%→3.7%)했고, BM25 하이브리드를 더하면 49%, reranking까지 더하면 67% 감소했다(Anthropic, 2024). 즉 우리 콘텐츠 자체를 '검색되기 쉽게' 쓰면, 애초에 끌려와서 환각될 여지가 준다.

reranking 단계 — 끌려왔지만 뒤로 밀린다

후보엔 들었는데 순위가 낮으면 모델이 안 읽는다. Cross-encoder reranking은 후보를 질문과 함께 다시 읽어 NDCG를 5~15(난도 높으면 약 20)까지 끌어올린다. 우리 콘텐츠가 질문에 '직접 답하는' 형태일수록 reranker가 위로 올린다.

generation 단계 — 읽었지만 중간이라 흘린다

Liu 등의 'Lost in the Middle'은 긴 맥락의 중간에 있는 정보가 손실되는 U자형 현상을 보고했다(arXiv:2307.03172). 핵심은 앞이나 끝에 있어야 살아남는다. 우리 콘텐츠가 끌려와 상위에 들어도, 정작 핵심 사실(가격·기능)이 문서 한복판에 묻혀 있으면 모델이 흘리고 환각으로 메운다. 그래서 답변형 첫 문장(직답)과 명료한 구조가 faithfulness를 직접 끌어올린다.

faithfulness를 높이는 콘텐츠 작법 — GEO 근거와 함께

생성엔진 최적화(GEO) 연구는 무엇이 인용 가시성을 올리는지 실험으로 보여준다. Aggarwal 등(arXiv:2311.09735, KDD 2024)은 통계 추가·출처 인용·직접 인용문 삽입이 특정 조건에서 생성엔진 가시성을 최대 약 40%까지 끌어올린다고 보고했다. 그런데 이 세 가지는 동시에 faithfulness도 올린다. 왜? 추적 가능한 사실을 더 많이 심을수록, 엔진이 근거 댈 문장이 많아지기 때문이다.

❌ faithfulness 낮은 콘텐츠 (모호)
"우리 서비스는 업계 최고 수준의 정확도를 자랑하며 
 많은 기업이 선택하고 있습니다."
→ '최고 수준' '많은 기업' = 검증 불가. 엔진이 인용해도
  근거 댈 구체 문장이 없어 환각으로 변형되기 쉽다.

✅ faithfulness 높은 콘텐츠 (추적 가능)
"Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진을 
 측정하며, 무료 진단(₩0)·주간 모니터링·경쟁사 역추적을 
 제공한다."
→ 엔진별·기능별로 검증 가능한 주장. 인용 시 변형 여지가 작다.

엔진 성향도 작법에 반영해야 한다. Claude는 근거가 약한 콘텐츠를 보수적으로 걸러내고 Citations API로 출처를 묶는 성향이라, faithfulness 친화적 작법이 특히 잘 먹힌다. Gemini는 구글 색인·E-E-A-T를 중시하고, Perplexity는 실시간 인라인 인용을 한다. 반대로 모호한 자랑형 문장은 Claude류에서 아예 안 걸리거나 변형되기 쉽다.

네이버라는 별세계도 같은 원리

국내라면 네이버를 빼놓을 수 없다. 네이버 AI 브리핑(요약)은 통합검색 쿼리의 20% 이상에 적용되고, 2026년 4월 기준 인용이 월 약 3.558억 건에 달했다. AI탭은 2026년 6월 25~26일 전체 정식 출시됐다(대화형·에이전틱). 한 표본분석(272건)에서 인용 출처의 약 58%가 블로그였고, 약 49%는 통합검색 Top10 밖에서 인용됐다. 알고리즘은 C-Rank(출처 신뢰·전문성) + D.I.A.+(문서 의도)로, 직접경험·일관주제·진정성·읽기 쉬운 구조·최신성이라는 5원칙을 본다. 이 5원칙은 결국 '추적 가능하고 충실한 콘텐츠'와 같은 방향이다. 한 가지 구조적 함정 — 네이버는 외부 크롤러를 차단해, 글로벌 AI는 나무위키·위키백과·티스토리를 통해 우회 인용한다. 즉 네이버 안 콘텐츠의 faithfulness와, 글로벌 AI가 보는 우회 경로의 faithfulness를 따로 관리해야 한다.

그 전제로 AI 크롤러부터 robots.txt에서 허용해야 후보에 든다. GPTBot·OAI-SearchBot(OpenAI), PerplexityBot, ClaudeBot·anthropic-ai(Anthropic), Google-Extended(구글)을 막아두면 retrieval 단계에서 탈락이라 faithfulness 측정 자체가 무의미해진다.

faithfulness를 그로스 대시보드에 어떻게 앉히는가

나는 가시성을 2차 지표로 본다. Overdrive식 CFO 관점처럼, 가시성은 매출·리드(결과)를 설명하는 선행 지표일 뿐 그 자체가 목적이 아니다. faithfulness도 같은 위치에 둔다. 운영 라인은 이렇게 짠다.

이렇게 묶으면 '노출은 늘었는데 매출은 그대로'인 흔한 미스터리가 풀린다. faithfulness 칸을 보면, 늘어난 노출이 사실은 오정보 노출이었을 수 있다. 반대로 faithfulness가 1.0인데 전환이 안 되면 문제는 콘텐츠가 아니라 랜딩·오퍼다. 측정을 분리해야 처방이 정확해진다. 한 가지 경고: 엔진을 합산해 하나의 숫자로 뭉치면 메커니즘이 가려진다. 엔진별 인용 출처가 90% 다른 이상, faithfulness도 엔진별로 분리 보고해야 한다.

Citeon은 이 원리를 제품에 담았다

Citeon은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 인용을 측정(SOV)한다. 위에서 설명한 '유효 노출 = 빈도 × 충실도'의 빈도 축이 여기서 나온다. 그리고 사이트 진단엔진이 우리 콘텐츠가 retrieval·generation 단계에서 끌려오고 정확히 인용되기 쉬운 구조인지(직답·추적 가능한 사실·명료한 구조) 점검해, faithfulness가 낮아질 원인을 사전에 잡는다. 경쟁사 역추적으로는 '혼선 인용'(경쟁사 강점이 우리 것으로, 혹은 그 반대로 뒤섞이는 패턴)을 추적하고, 주간 모니터 추이로 단일 측정의 노이즈를 시계열로 평탄화해 본다 — 앞서 말한 다중 실행의 실무판이다.

지금 우리 브랜드가 AI 답변에 '정확히' 인용되고 있는지 궁금하다면, 무료 진단(₩0)으로 시작하면 된다. 노출 숫자만이 아니라, 그 노출이 우리에게 유리한 인용인지부터 점검해 처방까지 받는다.

자주 묻는 질문

참고자료

• Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
• Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain QA
• Liu et al. (2023), Lost in the Middle
• Aggarwal et al. (2023/KDD 2024), GEO: Generative Engine Optimization
• Anthropic (2024), Introducing Contextual Retrieval
• Conductor, Debunking AI Prompt Volume