AI 검색 마케팅을 알아보면 곧 화려한 숫자들을 만난다. "당신 브랜드의 SOV는 23%", "이 키워드의 프롬프트 볼륨은 월 1만 2천", "SMR 기준 경쟁사 대비 2위". 그럴듯하게 들리지만, 이 숫자들을 그대로 믿으면 위험하다. 이유는 두 가지다. 첫째, AI는 같은 질문에도 매번 다른 답을 한다(비결정성). 그래서 한 번 측정한 숫자는 통계적으로 노이즈에 가깝다. 둘째, "AI 검색량" 같은 지표는 실제로 잴 수 없는 값을 추정으로 만든 것이다. 이 글은 SOV·SMR·프롬프트 볼륨이 각각 무엇이고 어디서 무너지는지 짚은 뒤, 그럼에도 이 숫자들을 정직하게 쓰는 법을 정리한다. 지표를 버리자는 게 아니라, 속지 않고 제대로 쓰자는 이야기다.
"AI 검색량"이라는 환상 — 프롬프트 볼륨의 정체
가장 먼저 의심해야 할 숫자가 프롬프트 볼륨(prompt volume)이다. "이 주제를 사람들이 AI에 월 몇 번 물어본다"는 식으로, 전통 SEO의 검색량(search volume)처럼 제시된다. 문제는 이 값을 실제로 잴 방법이 없다는 것이다. 구글은 검색량을 공개하지만, OpenAI·Anthropic 같은 LLM 사업자는 사용자가 무엇을 얼마나 묻는지 공개하지 않는다.
그래서 시중의 모든 프롬프트 볼륨은 추정치다. 보통 동의를 받은 패널이나 브라우저 확장에서 일부 사용자의 대화를 수집한 뒤, 통계 모델로 전체를 역산한다. 비유하자면 전 국민 여론을 1%도 안 되는 표본에 물어보고 전국 수치라고 발표하는 것과 비슷하다. 실제로 콘텐츠 분석 기업 Conductor는 하루 입력되는 프롬프트가 25억 건이 넘는데 이런 패널은 "전체 시장의 1%에도 한참 못 미친다"고 지적하며, 더 강하게 이렇게 경고한다. "신뢰할 수 없는 검색량 데이터는 데이터가 아예 없는 것보다 나쁘다." 잘못된 숫자가 콘텐츠 우선순위와 예산을 엉뚱한 곳으로 몰기 때문이다.
같은 질문, 다른 답 — 단일 측정이 노이즈인 이유
두 번째 함정은 더 근본적이다. LLM은 같은 질문에 같은 답을 주지 않는다. 많은 사람이 "설정에서 temperature를 0으로 두면 똑같아진다"고 알지만, 이는 사실이 아니다. temperature=0은 다음 단어를 고르는 규칙만 고정할 뿐, GPU 연산 순서·배치 처리 방식 때문에 같은 입력에도 결과가 흔들린다.
수치로 보면 충격적이다. 한 실험에서 2,350억 파라미터 모델을 temperature=0으로 1,000번 돌렸더니 서로 다른 출력이 80가지 나왔다. 또 다른 체계적 연구(arXiv 2602.14349)는 6개 모델을 여러 조건에서 480회 실행해, 같은 설정에서도 결과가 상당히 출렁인다는 것을 보였다. 즉 SOV를 한 번 재서 "23%"라고 말하는 것은, 주사위를 한 번 굴려 나온 눈을 그 주사위의 성질이라고 우기는 것에 가깝다.
이 문제를 정면으로 다룬 학술 연구도 있다. AI 가시성의 불확실성을 정량화한 한 논문(arXiv 2603.08924)은 생성형 검색이 비결정적이므로 "단일 측정으로는 시스템의 거동을 제대로 특성화할 수 없다"고 못 박는다. 게다가 인용 분포가 소수 출처에 쏠리는 멱법칙(power-law) 형태라, 반복 질의마다 가시성이 크게 출렁인다. 그래서 이 논문은 여러 번 독립적으로 측정한 뒤 부트스트랩 신뢰구간으로 분포를 보고하라고 권한다. 한 숫자가 아니라 "23% ± 6%" 같은 범위로 말해야 정직하다는 것이다.
SOV와 SMR은 어떻게 읽어야 하나
그렇다면 업계가 쓰는 SOV(Share of Voice)와 SMR(Share of Model Response)은 쓸모없는 걸까. 그렇지 않다. 제대로 쓰면 유용하다. 둘은 본질적으로 같은 것을 잰다. "내 카테고리의 AI 답변 중 우리 브랜드가 언급된 비율"이다. SMR은 일부 한국 업체가 쓰는 이름으로, SOV의 변형으로 보면 된다.
다만 두 가지를 알고 써야 한다. 첫째, 질문 세트가 곧 결과를 만든다. SOV는 보통 카테고리 대표 질문 20~50개를 골라 측정하는데, 어떤 20~50개를 고르느냐가 숫자를 좌우한다. 우리에게 유리한 질문만 모으면 SOV는 올라간다. 그래서 질문 세트를 고정·공개·버전관리하지 않은 SOV/SMR 비교는 시험 범위를 각자 다르게 정해놓고 점수를 겨루는 것과 같다. 측정 방법을 공개하지 않는 벤더 고유 지표(SMR 등)는 다른 도구의 숫자와 직접 비교할 수 없다는 점도 기억해야 한다.
둘째, 엔진을 합산하면 진실이 가려진다. 앞 글에서 봤듯 ChatGPT·Gemini·Perplexity·Claude·Grok은 출처를 고르는 원리가 다르다. 이들을 하나의 평균 SOV로 뭉치면 어느 엔진에서 이기고 어디서 지는지가 사라진다. 반드시 엔진별로 따로 봐야 개선 지점이 보인다.
'몇 번 언급됐나'는 '제대로 언급됐나'를 보지 않는다
또 하나 놓치기 쉬운 함정. SOV는 언급의 횟수만 세지, 그 언급이 정확한지·우호적인지는 보지 않는다. 브랜드가 자주 인용돼도 부정확한 정보나 부정적 맥락으로 불린다면, 높은 SOV는 오히려 위험 신호다.
흥미롭게도 학계는 이 문제를 다르게 접근한다. RAG 시스템을 평가하는 RAGAS 같은 프레임워크는 "몇 번 언급됐나"가 아니라 충실도(faithfulness) — 답변의 각 주장이 실제 근거 문서에서 추적되는지 — 를 주장 단위로 채점한다. 답변이 사실에 부합하는지, 질문에 정말 관련되는지를 본다. 마케팅 SOV에 이 학술 지표를 그대로 들여올 수는 없지만, 교훈은 분명하다. '카운트'와 '품질'은 다른 축이라는 것이다. 그래서 정직한 측정은 SOV에 감성(우호/중립/부정)과 정확성을 함께 본다.
그래서, 정직하게 측정하는 6가지 원칙
지표를 버릴 필요는 없다. 다음 여섯 가지를 지키면 같은 숫자가 신뢰할 수 있는 나침반이 된다.
- 엔진별로 분리한다 — ChatGPT·Gemini·Perplexity·Claude·Grok·네이버를 합산하지 않고 따로 측정한다.
- 반복하고 범위로 말한다 — 같은 질문을 여러 번 돌려 평균과 신뢰구간으로 보고한다. 한 숫자(23%)가 아니라 범위(23%±6%)로.
- 질문 세트를 고정·공개한다 — 측정마다 같은 질문을 쓰고, 그 목록을 버전관리한다. 그래야 추이가 의미를 갖는다.
- baseline을 먼저 찍는다 — 개선 작업 전 기준선을 기록해야, 이후 변화가 진짜 개선인지 노이즈인지 구분된다.
- 경쟁사와 상대 비교한다 — 내 SOV의 절대값보다, 경쟁사 대비 추이가 더 정직한 신호다(인용은 제로섬에 가깝다).
- 결과에 연결한다 — SOV·SMR은 그 자체가 목적이 아니라 매출·리드라는 결과를 설명하는 2차 지표다. "CFO처럼" 가시성 숫자보다 사업 임팩트를 먼저 본다.
이 여섯 가지가 없는 측정 리포트는, 아무리 숫자가 정교해 보여도 가짜 정밀함(false precision)일 수 있다. 소수점까지 찍힌 SOV가 매주 흔들린다면, 그것은 정밀한 게 아니라 측정이 노이즈를 잡고 있다는 뜻이다.
Citeon은 이렇게 정직하게 측정한다
우리가 이 글을 쓰는 이유는, Citeon이 바로 이 원칙 위에서 측정을 설계했기 때문이다. 우리는 측정의 한계를 숨기지 않는다.
- ChatGPT·Gemini·Perplexity·Claude를 엔진별로 분리해 인용을 측정한다. 합산 평균으로 진실을 가리지 않는다.
- 측정 시작 시점을 baseline으로 고정하고, 이후 변화를 그 기준선 대비 추이로 보여준다.
- AI가 당신 대신 추천하는 경쟁사를 함께 추적해, 절대값이 아니라 상대 위치로 읽게 한다.
- 단순 언급 카운트를 넘어 인용 출처와 감성까지 함께 본다 — 자주 불리는 것과 제대로 불리는 것을 구분한다.
그리고 우리는 우리 자신에게도 같은 잣대를 들이댄다. Citeon의 SOV 출발점이 낮으면 낮은 대로 정직하게 보여준다. 측정은 마케팅 숫자놀음이 아니라, 개선이 실제로 작동하는지 확인하는 정직한 거울이어야 하기 때문이다. 당신이 지금 받고 있는 AI 가시성 리포트는, 이 6가지 원칙을 지키고 있는가. Citeon 무료 진단으로 엔진별·경쟁사 대비 당신의 정직한 출발점을 확인해 보라.
프롬프트 볼륨(AI 검색량) 데이터는 믿어도 되나요?
그대로 믿으면 위험합니다. LLM 사업자는 질의 빈도를 공개하지 않으므로, 모든 프롬프트 볼륨은 일부 패널을 모델로 역산한 추정치입니다. 표본이 전체 시장의 1%에도 못 미친다는 지적이 있고, Conductor는 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 경고합니다. 방향 참고용으로만 쓰고, Google Trends·Search Console 같은 검증 가능한 신호로 보강하는 편이 안전합니다.
SOV를 한 번 측정한 숫자는 왜 못 믿나요?
LLM은 같은 질문에 같은 답을 주지 않기 때문입니다. temperature=0에서도 2,350억 파라미터 모델을 1,000번 돌리면 80가지 다른 출력이 나왔다는 실험이 있습니다. 단일 측정은 주사위를 한 번 굴린 것과 같아, 여러 번 반복해 평균과 신뢰구간(예: 23%±6%)으로 봐야 의미가 있습니다.
SOV와 SMR은 다른 지표인가요?
본질적으로 같습니다. 둘 다 "AI 답변 중 우리 브랜드가 언급된 비율"을 잽니다. SMR(Share of Model Response)은 일부 업체가 쓰는 이름으로 SOV의 변형입니다. 다만 측정 방법(질문 세트·반복 횟수·신뢰구간)을 공개하지 않은 벤더 고유 지표는 다른 도구의 숫자와 직접 비교할 수 없습니다.
그럼 측정을 아예 하지 말라는 건가요?
아닙니다. 정직하게 쓰면 매우 유용합니다. 엔진별 분리, 반복+신뢰구간, 고정·공개 질문 세트, baseline 대비 추이, 경쟁사 상대 비교, 결과(매출·리드) 연결 — 이 여섯 원칙을 지키면 같은 SOV가 신뢰할 수 있는 나침반이 됩니다. 문제는 지표 자체가 아니라, 한 번 잰 숫자를 정밀한 진실처럼 파는 방식입니다.