AI 가시성 불확실성 정량화 논문 해설

AI 검색에서 우리 브랜드가 인용되는지 한 번 측정해 본 결과는, 사실상 노이즈입니다. 같은 질문을 같은 모델에 같은 설정으로 던져도 답변과 인용 출처가 매번 달라지기 때문입니다. 그래서 'AI 가시성'은 단일 숫자가 아니라 분포(distribution)로 다뤄야 하고, 측정에는 반드시 다중 실행 + 신뢰구간이 필요합니다. 이 글은 AI 가시성의 불확실성을 정면으로 다룬 최근 연구들(arXiv:2603.08924, arXiv:2602.14349)을 메커니즘으로 해설하고, '단일 측정으로 순위를 보고하는' 업계 관행이 왜 위험한지, 그리고 어떻게 측정해야 신뢰할 수 있는지를 실무 규칙으로 정리합니다.

저는 david입니다. AEO 리서처로서 논문과 데이터를 메커니즘으로 읽는 걸 좋아하고, 근거 없는 단정을 싫어합니다. 그래서 이 글에서도 '인용이 흔들린다'는 현상을 감(感)이 아니라 왜 그런 일이 일어나는지 연산 수준에서 설명하겠습니다.

왜 같은 질문에 매번 다른 답이 나올까 — 비결정성의 정체

먼저 가장 흔한 오해부터 깹시다. 많은 분이 'temperature를 0으로 두면 LLM은 결정적(deterministic)이 된다'고 알고 있습니다. 직관적으로 맞는 말처럼 들립니다. temperature=0은 '가장 확률 높은 토큰만 고르라'는 설정이니까요. 그런데 실제로는 temperature=0에서도 출력이 흔들립니다.

한 실측에서는 2,350억 파라미터 규모의 모델에 동일 입력을 1,000번 넣었더니 약 80가지의 서로 다른 출력이 나왔습니다. temperature=0인데도 말이죠. 왜일까요?

비유: 정확히 같은 레시피, 다른 주방

같은 레시피(프롬프트)와 같은 셰프(모델 가중치)를 줘도, 어느 화구에서 굽느냐, 몇 인분을 동시에 굽느냐에 따라 미세하게 결과가 달라지는 것과 비슷합니다. LLM의 흔들림은 주로 하드웨어와 연산 순서에서 나옵니다.

• 부동소수점 비결합성(non-associativity): 컴퓨터에서 (a+b)+c와 a+(b+c)는 미세하게 다른 값이 나올 수 있습니다. GPU가 수천 개의 곱셈·덧셈을 병렬로 처리하면서 더하는 순서가 실행마다 조금씩 달라지면, 결과 확률값의 끝자리가 흔들립니다.
• 배치(batch) 구성: 내 요청이 다른 사용자 요청들과 어떻게 묶여 한 배치로 처리되느냐에 따라 커널이 선택하는 연산 경로가 달라집니다. 트래픽 상황은 매번 다르므로 이 묶음도 매번 다릅니다.
• 경계에서의 뒤집힘: 1순위 토큰과 2순위 토큰의 확률이 거의 비슷할 때, 위의 미세한 흔들림이 순위를 뒤집습니다. 한 번 다른 토큰이 선택되면 그 뒤 문장 전체가 다른 경로로 갈라집니다(나비효과).

즉 temperature는 '의도적으로 추가하는 무작위성'을 끄는 손잡이일 뿐, 시스템 자체에 내재한 비결정성까지 끄지는 못합니다. 이것이 AI 가시성 측정이 본질적으로 어려운 첫 번째 이유입니다.

그 흔들림이 '인용'까지 전파되는 경로 — RAG 메커니즘

AI 검색(ChatGPT 검색, Perplexity, 구글 AI, 네이버 AI 브리핑)은 대부분 RAG(Retrieval-Augmented Generation) 구조입니다. RAG는 2020년 Lewis 등의 원전(arXiv:2005.11401)에서 정식화된 개념으로, 모델의 머릿속 지식(파라메트릭 메모리)과 외부 문서 검색(비파라메트릭 메모리)을 결합하는 방식입니다. 답변을 만들기 전에 먼저 관련 문서를 '검색'해서 가져오고, 그 문서를 근거로 답을 '생성'합니다. 이 과정을 단계로 쪼개면 다음과 같습니다.

질문 → [1. 검색 retrieval] → 후보 문서 수십 개
      → [2. 재정렬 reranking] → 상위 몇 개로 압축
      → [3. 생성 generation] → 답변 + 인용 표기

여기서 핵심은 흔들림이 단계마다 끼어든다는 점입니다.

검색 단계에서 우리 페이지가 후보 10등이었다가 11등이 되는 미세한 변동이, 생성 단계에서 '인용함/안 함'이라는 이진(binary) 결과로 증폭됩니다. 마치 시험에서 커트라인이 79.5점인데 내 점수가 79점과 80점 사이를 오가는 상황과 같습니다. 실력은 거의 그대로인데 결과는 합격/불합격으로 극단적으로 갈립니다. 그래서 한 번 측정해서 '인용 안 됨'이 나왔다고 '우리는 인용이 안 되는 브랜드'라고 단정하면 안 됩니다.

왜 '중간'이 특히 불안정한가 — Lost in the Middle

한 가지 더. 설령 우리 문서가 후보에 들어가 모델에 전달되더라도, 맥락 안에서 어디에 놓이느냐가 인용 여부를 좌우합니다. Liu 등 2023(arXiv:2307.03172)은 긴 맥락에서 모델이 앞쪽과 끝쪽 정보는 잘 활용하지만 중간에 묻힌 정보는 놓치는 U자형 패턴을 보였습니다. 검색 순위가 실행마다 흔들리면 우리 문서가 맥락의 끝(좋음)에 갔다가 중간(나쁨)에 갔다가를 반복하고, 이것도 인용 변동에 기여합니다.

핵심 연구 해설 ① — 인용은 멱법칙으로 출렁인다 (arXiv:2603.08924)

AI 가시성의 불확실성을 정면으로 정량화한 연구(arXiv:2603.08924)의 핵심 발견을 정리하면 이렇습니다.

• 인용 분포가 멱법칙(power-law)을 따른다: 소수의 강한 출처가 인용의 대부분을 가져가고, 나머지 다수는 긴 꼬리(long tail)에서 가끔만 등장합니다. 즉 '평균적으로 몇 번 인용된다'는 식의 정규분포 직관이 통하지 않습니다.
• 꼬리에 있는 출처일수록 출렁임이 크다: 강한 코어 출처는 거의 매번 나오지만, 꼬리에 있는 브랜드는 측정할 때마다 등장 여부가 크게 달라집니다. 대부분의 신규·중소 브랜드가 바로 이 꼬리에 있습니다.
• 그래서 단일 측정은 노이즈다: 한 번 돌려서 '인용됨/안 됨'을 보고하는 건 동전 한 번 던지고 '이 동전은 앞면이 나오는 동전'이라고 결론짓는 것과 같습니다.

이 연구의 처방은 명확합니다. 다중 실행(multiple runs) + 부트스트랩(bootstrap) 신뢰구간으로 불확실성을 함께 보고하라는 것입니다.

비유: 동전과 여론조사

동전이 공정한지 알려면 한 번이 아니라 여러 번 던져 앞면 비율을 봐야 합니다. 여론조사가 '지지율 42%'가 아니라 '지지율 42% (±3%p)'라고 보고하는 것도 같은 이유입니다. 표본이 우연히 한쪽으로 쏠릴 수 있으니, 같은 조사를 반복하면 결과가 어느 범위 안에서 움직이는지를 함께 알려주는 겁니다.

부트스트랩은 이 '반복 조사'를 데이터 안에서 흉내 내는 통계 기법입니다. 측정한 결과들을 한 바구니에 담고, 거기서 복원추출(같은 값을 또 뽑을 수 있게)로 가상의 표본을 수천 번 만들어, 그 분포의 가운데 95%가 어디부터 어디까지인지를 신뢰구간으로 잡습니다. AI 가시성에 적용하면 이렇게 됩니다.

# 개념 의사코드 — 단일 측정 vs 분포 측정
# ❌ 단일 측정 (노이즈)
result = ask(model, query)        # 1회
report("인용됨" if cited(result) else "인용 안 됨")

# ✅ 다중 실행 + 신뢰구간
runs = [ask(model, query) for _ in range(N)]   # 같은 질문 N회
cite_rate = mean(cited(r) for r in runs)        # 인용된 비율
ci_low, ci_high = bootstrap_ci(runs, metric=cited, iters=5000)
report(f"인용률 {cite_rate:.0%} (95% CI {ci_low:.0%}~{ci_high:.0%})")

이렇게 보고하면 '우리 인용률은 30%인데, 신뢰구간이 10~50%로 넓다 → 아직 꼬리에 있고 변동이 크다'처럼 상태와 불확실성을 동시에 읽을 수 있습니다.

핵심 연구 해설 ② — 모델·실행을 가로지른 변동 (arXiv:2602.14349)

또 다른 실험(arXiv:2602.14349)은 6개 모델에 걸쳐 총 480회 규모의 반복 측정을 수행했습니다. 여기서 우리가 실무적으로 얻을 교훈은 두 가지입니다.

• 변동은 모델 안(같은 모델 반복)에서도, 모델 사이에서도 존재한다: ChatGPT에서 잘 인용되는 출처가 Perplexity·Gemini·Claude에서는 다를 수 있고, 같은 ChatGPT 안에서도 실행마다 다릅니다. 그래서 '엔진을 합쳐 하나의 점수로' 보고하면 어느 엔진에서 왜 흔들리는지(메커니즘)가 가려집니다.
• 반복 횟수가 적으면 결론이 뒤집힌다: 적은 실행으로 'A 브랜드가 B보다 우위'라고 말하면, 다음 측정에서 순위가 뒤집히기 쉽습니다. 두 신뢰구간이 겹친다면 그 차이는 '있다'고 말할 수 없습니다.

실제로 인용 패턴 자체가 엔진마다 크게 다르다는 점은 별개의 대규모 인용 분석에서도 드러납니다. 한 분석에서 ChatGPT와 Perplexity의 인용 도메인 중복은 약 11%에 그쳤고, 인용의 약 90%가 엔진마다 달랐습니다. ChatGPT는 위키백과 비중이 약 47.9%로 높았고, Perplexity는 Reddit 비중이 약 46.7%로 높게 나타났습니다. 엔진마다 '어디서 답을 길어 오는지'의 성향이 다르다는 뜻입니다. 이런 구조적 차이 위에 실행 단위 비결정성까지 얹히니, 엔진별·반복 측정 없이 단일 숫자로 가시성을 말하는 건 두 겹으로 위험합니다.

이 모든 게 실무에 주는 함의 — 약한 보고 vs 강한 보고

가장 중요한 실무 포인트입니다. 측정 결과를 어떻게 말하느냐가 곧 의사결정의 질을 결정합니다. 아래 대조를 보세요.

가시성 보고 문장

• ❌ 약한 보고: "우리 브랜드는 ChatGPT에서 '강남 피부과 추천' 질문에 인용되지 않습니다." (1회 측정, 노이즈를 사실로 단정)
• ✅ 강한 보고: "같은 질문을 20회 측정한 결과 인용률 25% (95% CI 10~45%)였습니다. 변동이 크다는 건 우리가 후보권 경계에 있다는 신호이며, 콘텐츠를 보강하면 인용률을 끌어올릴 여지가 있습니다."

경쟁사 비교

• ❌ 약한 비교: "경쟁사가 우리보다 AI 검색에서 앞섭니다." (단일 측정 순위)
• ✅ 강한 비교: "경쟁사 인용률 40%(CI 28~52%), 우리 35%(CI 22~48%). 신뢰구간이 크게 겹치므로 현재 데이터로는 '뒤진다'고 단정할 수 없습니다. 차이를 확정하려면 측정 횟수를 늘려야 합니다."

개선 효과 판단

• ❌ 약한 판단: "콘텐츠를 고쳤더니 인용됐습니다. 효과가 있었습니다." (개선 전 1회 vs 개선 후 1회)
• ✅ 강한 판단: "개선 전 인용률 15%(CI 5~30%) → 개선 후 45%(CI 32~58%). 신뢰구간이 거의 겹치지 않으므로 개선 효과가 있다고 볼 근거가 충분합니다."

핵심 원리는 하나입니다. 점이 아니라 구간으로 말하라. 두 구간이 겹치면 차이를 주장하지 마라. 이건 통계학의 기본이지만, AI 가시성 업계에서는 자주 무시됩니다. 멋진 단일 순위표가 보고서로서 '팔리기' 때문입니다.

그런데 '프롬프트 볼륨'과 'SOV 순위표'는 믿어도 될까

여기서 또 하나 짚어야 할 게 있습니다. 일부 도구는 '이 질문이 한 달에 몇 번 검색된다'는 식의 프롬프트 볼륨을 제공합니다. 그러나 AI 검색 질문량은 검색엔진 키워드 검색량처럼 공개 집계되지 않습니다. 대개 시장의 1% 미만 패널을 모델링한 추정치입니다. Conductor는 이를 두고 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 표현했습니다. 없으면 모른다는 걸 알지만, 그럴듯한 가짜 숫자가 있으면 그걸 믿고 잘못된 결정을 하기 때문입니다.

SOV(Share of Voice)도 마찬가지입니다. SOV는 한 카테고리의 AI 답변 중 우리 브랜드가 언급되는 비율로, 유용한 지표입니다. 하지만 (1) 어떤 질문 세트를 고르느냐가 결과를 크게 좌우하고, (2) 단일 측정이면 위에서 본 노이즈를 그대로 안고 있으며, (3) 여러 엔진을 합산하면 메커니즘이 가려집니다. 그래서 SOV는 질문 세트를 고정하고, 엔진별로, 반복 측정해, 신뢰구간과 함께 봐야 의미가 있습니다.

한 발 더 나아가, 가시성은 그 자체가 목적이 아니라 매출·리드를 설명하는 2차 지표로 봐야 합니다. CFO 관점의 측정을 강조하는 진영(Overdrive 등)이 지적하듯, 인용률이 올라도 매출이 안 따라오면 질문 세트가 비즈니스와 어긋나 있을 가능성이 큽니다. 가시성 신뢰구간이 좁아지고 위로 이동하는 것이 '리드·매출 곡선'과 함께 움직일 때 비로소 측정이 사업적으로 의미를 가집니다.

그렇다면 어떻게 측정해야 하나 — 실전 체크리스트

위 연구들의 처방을 실무 절차로 옮기면 이렇습니다.

그리고 측정 이전에, 애초에 후보로 진입하려면 AI 크롤러가 우리 사이트를 읽을 수 있어야 합니다. robots.txt에서 GPTBot·OAI-SearchBot(OpenAI), PerplexityBot, ClaudeBot·anthropic-ai(Anthropic), Google-Extended(구글)를 허용해야 검색 후보 풀에 들어갑니다. 크롤러를 막아두고 '왜 인용이 안 되지?'라고 묻는 건, 가게 문을 잠그고 손님이 안 온다고 하는 것과 같습니다.

인용될 확률 자체를 높이는 콘텐츠 — 변동의 중심을 위로

측정을 정직하게 하는 것과 별개로, '인용률의 중심값'을 끌어올리는 일은 콘텐츠로 합니다. 생성엔진 가시성을 다룬 연구(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)는 통계 수치·출처 인용·직접 인용문을 콘텐츠에 추가하면 특정 조건에서 생성엔진 가시성이 최대 약 40%까지 상승할 수 있다고 보고했습니다. 이유는 RAG 메커니즘으로 설명됩니다. 검증 가능한 수치와 명확한 인용은 재정렬·생성 단계에서 '근거로 쓰기 좋은 청크'로 평가되기 쉽기 때문입니다.

검색 단계의 적중률 자체를 올리는 기법도 있습니다. Anthropic의 Contextual Retrieval(2024)은 각 청크에 맥락 한 줄을 덧붙이는 것만으로 검색 실패율을 35% 줄였고(5.7%→3.7%), BM25 하이브리드를 더하면 49%, 리랭킹까지 더하면 67% 감소했다고 보고했습니다. 우리 콘텐츠를 만들 때도 같은 원리를 빌려, 각 문단이 스스로 맥락을 품도록 쓰면 검색·인용 양쪽에서 유리합니다.

• ❌ 맥락 빈약: "이 방법은 효과가 큽니다." (무엇이? 얼마나? 근거는?)
• ✅ 맥락 충족: "청크에 맥락 한 줄을 더하면 검색 실패율이 5.7%에서 3.7%로 줄어, 약 35% 개선됩니다(Anthropic, 2024)." (주체·수치·출처가 한 문장에)

요약하면, 측정은 분포로 정직하게, 콘텐츠는 근거로 강하게입니다. 둘이 함께 가야 '인용률 분포의 중심이 위로 이동하고, 신뢰구간이 좁아지는' 진짜 성장이 보입니다.

Citeon은 이 원리를 제품에 담았다

Citeon은 'AI 검색에서 발견되고, 매출까지'를 목표로 하는 풀퍼널 마케팅 대행입니다. 이 글의 핵심 원리 — 단일 측정은 노이즈, 가시성은 분포로 봐야 한다 — 가 제품 설계에 그대로 반영돼 있습니다.

• 4엔진 인용 측정(SOV): ChatGPT·Gemini·Perplexity·Claude를 엔진별로 분리해 우리 브랜드 언급 비율을 측정합니다. 합산해 메커니즘을 가리지 않습니다.
• 주간 모니터 추이: 한 시점의 점수가 아니라 주 단위 추이로 봅니다. 단일 측정의 노이즈 대신 방향성(중심의 이동)을 읽기 위해서입니다.
• 사이트 진단엔진: SEO·AEO·GEO 관점에서 사이트를 점검해, 크롤러 접근부터 콘텐츠의 근거·인용 밀도까지 '인용 확률의 중심을 올릴' 처방을 제시합니다.
• 경쟁사 역추적: 경쟁사가 어디서·어떻게 인용되는지를 거꾸로 분석해, 비교를 단일 순위가 아니라 구조로 봅니다.

측정의 불확실성을 인정하는 것은 약점이 아니라 정직함입니다. 그 정직함 위에서만 '무엇을 고쳐야 인용률이 올라가는가'라는 진짜 질문에 답할 수 있습니다.

→ 무료 AI 가시성 진단 받기 (₩0) — 우리 사이트가 AI 검색 후보에 들어갈 준비가 됐는지, 어디를 고쳐야 인용 확률이 오르는지부터 확인해 보세요.

자주 묻는 질문(FAQ)

참고자료

• Lewis et al. 2020, Retrieval-Augmented Generation (arXiv:2005.11401)
• Liu et al. 2023, Lost in the Middle (arXiv:2307.03172)
• Aggarwal et al. 2023, GEO: Generative Engine Optimization (arXiv:2311.09735, KDD 2024)
• Anthropic, Introducing Contextual Retrieval (2024)
• Conductor, Debunking AI Prompt Volume