baseline은 '개선했다'고 말할 자격을 주는 단 하나의 근거다. 그리고 AI 검색 가시성에서 제대로 된 baseline은 캡처 한 번 떠놓은 단일 숫자가 아니라, 여러 번 측정해서 폭(신뢰구간)까지 기록한 출발점이어야 한다. 이 글은 그로스·퍼포먼스 관점에서 "왜 단일 숫자 baseline은 거짓말을 하는가", "개선을 증명하는 baseline은 어떻게 만드는가"를 RAG(검색→재정렬→생성) 메커니즘으로 끝까지 설명한다.
baseline이 없으면 모든 개선 보고는 '믿어달라'가 된다
그로스에서 가장 위험한 문장은 "좋아진 것 같아요"다. 좋아졌다는 건 비교 대상이 있어야 성립하는 말이다. 그 비교 대상이 baseline이다. 다이어트로 치면 운동 시작 '전날 아침 공복 체중'이고, 매출로 치면 캠페인 집행 '직전 4주 평균'이다. baseline이 없으면 나중에 어떤 숫자가 나와도 그게 우리가 한 일 덕분인지, 원래 그랬던 건지, 그냥 그날 운이 좋았던 건지 구분할 방법이 영영 사라진다.
AI 검색 가시성(ChatGPT·Perplexity·구글 AI·네이버 답변에서 우리 브랜드가 인용/언급되는 정도)에서 이 문제는 특히 고약하다. 일반 웹 분석은 GA 로그가 과거를 박제해두기 때문에 baseline을 사후에라도 복원할 수 있다. 하지만 AI 답변은 휘발성이다. "3월에 ChatGPT가 우리를 어떻게 답했는지"는 그때 측정해두지 않으면 다시는 알 수 없다. baseline을 미루면, 미룬 만큼 영원히 비교 불가능한 공백이 생긴다.
왜 단일 측정은 baseline이 될 수 없는가 — 비결정성의 메커니즘
흔한 실수: "오늘 ChatGPT에 우리 브랜드 카테고리 질문 10개 넣어서 3번 인용됐으니 baseline은 30%"라고 적는 것. 이건 baseline이 아니라 노이즈를 한 번 뽑은 표본이다. 같은 질문을 내일 다시 넣으면 20%나 40%가 나올 수 있다. 왜 그런지 RAG 메커니즘으로 뜯어보자.
1) 생성 단계: temperature=0에서도 흔들린다
LLM은 다음 단어의 확률분포에서 토큰을 고른다. "가장 확률 높은 단어만 고른다(temperature=0)"로 맞춰도 출력이 결정적이지 않다. GPU 부동소수점 연산 순서와 배치(batch) 구성에 따라 미세한 수치 차이가 누적되어 상위 후보의 순위가 뒤집히기 때문이다. 한 분석에서는 2,350억 파라미터급 모델에 동일 입력을 1,000회 넣었더니 80가지 서로 다른 출력이 나왔다. 6개 모델 480회 실험을 다룬 연구(arXiv:2602.14349)도 같은 결을 보고한다. 같은 질문, 같은 설정, 다른 답이 정상이라는 뜻이다.
2) 검색 단계: 후보 풀이 매번 달라진다
RAG의 원리(Lewis 등 2020, arXiv:2005.11401)는 모델이 머릿속 지식(파라메트릭)만으로 답하지 않고, 외부 문서를 실시간으로 검색(비파라메트릭)해 근거로 삼는다는 것이다. 의미 기반 검색(Dense Passage Retrieval, Karpukhin 등 2020, arXiv:2004.04906)은 키워드가 정확히 일치하지 않아도 '의미가 가까운' 문서를 끌어온다. 문제는 이 검색 결과가 인덱스 갱신·실시간 웹 상태·질문 표현의 미세한 차이에 따라 매번 조금씩 달라진다는 점이다. 후보 풀이 흔들리면 그 위에서 생성되는 답도 흔들린다.
비유하자면 도서관 사서(LLM)에게 같은 질문을 매일 하는데, 사서가 참고하는 신간 서가(웹 인덱스)가 매일 조금씩 바뀌고, 게다가 사서 기분(GPU 연산)에 따라 같은 책 더미에서도 다른 책을 먼저 집는 격이다. 하루치 답만 받아적고 "이게 baseline"이라고 하는 건, 사서가 어쩌다 집은 한 권을 보고 "이 도서관의 장서 구성은 이렇다"고 단정하는 것과 같다.
3) 그래서 baseline은 '점'이 아니라 '구간'이다
AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용 빈도가 멱법칙(power-law)처럼 출렁이며, 단일 측정으로는 진짜 신호를 잡을 수 없다고 본다. 권고는 명확하다: 다중 실행 + 부트스트랩(bootstrap) 신뢰구간. 같은 질문 세트를 여러 번(예: 회차를 나눠 반복) 측정하고, 그 분포에서 신뢰구간을 추정해 "baseline SOV = 28% (95% CI 21~35%)" 형태로 기록하라는 것이다.
| 구분 | 약한 baseline | 강한 baseline |
|---|---|---|
| 측정 횟수 | 1회 캡처 | 다중 실행(반복 회차) |
| 기록 형태 | "SOV 30%" | "SOV 28% (95% CI 21~35%)" |
| 엔진 처리 | 전 엔진 합산 1개 숫자 | 엔진별 분리 기록 |
| 질문 세트 | 그때그때 즉흥 | 고정·버전 관리된 세트 |
| 재현성 | 불가(어떻게 쟀는지 모름) | 가능(방법·세트·날짜 박제) |
개선을 '증명'한다는 것 — 점의 차이가 아니라 구간의 분리
여기서 그로스 리드의 핵심 원칙이 나온다. 개선했다고 말하려면, 개선 후 숫자가 baseline의 노이즈 폭을 넘어서야 한다. baseline이 28% (21~35%)인데 3개월 뒤 33%가 나왔다면, 이건 개선이 아니다. 여전히 baseline 신뢰구간 안에 있는 값, 즉 "그날 운"과 구분되지 않는 숫자다.
- ❌ 약한 보고: "baseline 30% → 현재 36%, 6%p 개선했습니다." (두 숫자 다 단일 측정이라 6%p가 진짜인지 노이즈인지 모름)
- ✅ 강한 보고: "baseline 28% (CI 21~35%) → 현재 47% (CI 41~52%). 두 구간이 겹치지 않으므로 노이즈로 설명되지 않는 실질 개선입니다."
구간이 겹치면 "아직 개선을 주장할 통계적 근거가 없다"고 정직하게 말하는 게 그로스의 신뢰를 지킨다. 겹치는데도 "올랐다"고 보고하면, 다음 달 자연 변동으로 도로 내려갔을 때 모든 신뢰를 잃는다.
baseline에 무엇을 담아야 하는가 — 5가지 박제 항목
1) 질문 세트(가장 중요)
SOV(Share of Voice, 카테고리 AI 답변 중 브랜드 언급 비율)는 어떤 질문을 넣느냐가 결과를 좌우한다. "부산 가족 호텔 추천"과 "부산 비즈니스 호텔"은 완전히 다른 답을 부른다. baseline의 질문 세트가 즉흥적이면, 나중에 개선 측정 때 다른 세트를 쓰게 되고, 그 순간 비교는 무의미해진다. 질문 세트를 고정하고 버전을 매겨 박제하라. 이게 baseline의 척추다.
- ❌ "우리 카테고리 관련 질문들로 쟀어요" (다음에 같은 질문을 재현 불가)
- ✅ "질문 세트 v1.0 — 정보형 12개, 비교형 8개, 구매의도형 10개, 총 30개. 파일로 고정."
2) 엔진별 분리 — 합산은 메커니즘을 가린다
ChatGPT·Gemini·Claude·Perplexity·Grok은 인용 출처 성향이 근본적으로 다르다. 대규모 인용 분석에서 ChatGPT와 Perplexity의 인용 도메인 중복은 약 11%에 불과했고, 인용의 약 90%가 엔진마다 달랐다. ChatGPT는 위키백과 비중이 약 47.9%, Perplexity는 Reddit 비중이 약 46.7%로 나타나기도 했다. 엔진 성향도 제각각이다 — Gemini는 구글 색인·E-E-A-T, Claude는 근거 약한 콘텐츠를 보수적으로 걸러내는 경향, Perplexity는 실시간 인라인 인용. 이렇게 다른 다섯을 하나로 합산하면 "왜 올랐고 왜 내렸는지"가 평균 속에 녹아 사라진다. baseline은 반드시 엔진별로 따로 박제한다.
3) 측정 방법과 날짜
몇 회 실행했는지, 신뢰구간을 어떻게 계산했는지, 며칠에 쟀는지를 함께 적는다. 6개월 뒤 다른 담당자가 봐도 "이렇게 다시 재면 비교 가능하다"가 성립해야 진짜 baseline이다.
4) 후보 진입 조건(크롤러 허용) 점검
baseline을 재기 전에 우리 사이트가 애초에 후보로 들어갈 수 있는 상태인지 확인해야 한다. AI 크롤러(OpenAI의 GPTBot·OAI-SearchBot, PerplexityBot, Anthropic의 ClaudeBot·anthropic-ai, 구글의 Google-Extended)가 robots.txt에서 차단돼 있으면 콘텐츠가 아무리 좋아도 검색 후보에 못 든다. 크롤러가 막힌 채로 잰 baseline은 "문을 잠그고 측정한 매장 방문객 수"와 같다 — 개선 여지를 구조적으로 가린다.
5) 가시성은 1차 지표가 아니라 2차 지표
CFO 앞에서 SOV만 들이밀면 "그래서 매출은?"이라는 질문에 막힌다. 가시성은 매출·리드(결과)를 설명하는 선행 지표일 뿐이다. 그래서 baseline은 가시성 단독이 아니라 'AI 검색 유입 → 전환 → 매출'까지 묶어 떠야 한다. 일부 분석에서는 AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 하므로(구체 수치는 단정하지 않는다), 가시성 baseline과 함께 전환 baseline을 같이 잡아두면 나중에 "가시성 +20%p가 리드 몇 건으로 이어졌나"를 어트리뷰션할 수 있다.
baseline 측정 직후 흔한 함정
프롬프트 볼륨을 baseline에 끼워넣지 마라
"이 질문이 월 몇 번 검색되는지"를 baseline 가중치로 쓰고 싶은 유혹이 있다. 하지만 AI 프롬프트 볼륨은 실측이 불가능하고, 시장 1% 미만 패널을 모델링한 추정치다. Conductor는 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다"고 못 박는다. baseline은 우리가 통제·재현할 수 있는 것(고정 질문 세트, 다중 실행, 엔진별 인용)으로만 짜야 한다. 추정 볼륨을 섞으면 baseline 자체가 흔들리는 모래 위에 선다.
긴 답변의 중간을 과신하지 마라
AI 답변이 길어질수록 중간에 언급된 브랜드는 사용자에게 닿지 않는다. 'Lost in the Middle'(Liu 등 2023, arXiv:2307.03172) 연구는 긴 맥락에서 모델이 중간 정보를 잘 활용하지 못하는 U자형 패턴을 보고했다 — 핵심은 앞과 끝에 위치할 때 가장 잘 쓰인다. baseline에서 '언급됐다'를 셀 때 단순 등장 횟수만 세지 말고, 어디에(앞/중간/끝) 어떻게(인용 링크/단순 언급) 등장했는지까지 구분해 기록하면 개선 측정의 해상도가 올라간다.
그래서 무엇을 개선하면 baseline을 넘는가
baseline을 잡았다면 다음은 그 위를 넘는 일이다. 생성엔진 가시성을 다룬 GEO 연구(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)는 콘텐츠에 통계·출처 인용·직접 인용문을 추가하면 특정 조건에서 가시성이 최대 약 40%까지 상승할 수 있음을 보고했다. 검색 단계 자체도 개선 레버다. Anthropic의 Contextual Retrieval(2024) 실험에서는 청크에 맥락을 덧붙이는 것만으로 검색 실패율이 35% 줄었고(5.7%→3.7%), BM25 하이브리드를 더하면 49%, 재정렬(reranking)까지 더하면 67%까지 실패율이 감소했다. 하이브리드 검색은 의미 단독 recall@10이 ~78%, 키워드(BM25) 단독이 ~65%인데 둘을 RRF로 결합하면 ~91%까지 오른다(공개 벤치마크 종합). 이런 레버를 적용한 뒤, 처음에 박제한 baseline 구간과 다시 비교하면 개선이 노이즈를 넘었는지 정직하게 판정할 수 있다.
Citeon은 이 원리를 제품에 담았다
Citeon의 무료 진단(₩0)은 baseline을 처음 잡는 가장 쉬운 출발점이다. URL을 넣으면 SEO·AEO·GEO 점수(0~100)와 한국어 처방을 받아 '개선 전' 상태를 박제할 수 있다. 가시성 측정은 ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 인용을 분리해 SOV로 측정하므로, 합산이 메커니즘을 가리는 함정을 피한다. 사이트 진단엔진은 크롤러 허용 같은 '후보 진입 조건'까지 점검하고, 경쟁사 역추적은 같은 카테고리에서 누가 인용되는지를 함께 보여줘 baseline에 맥락을 더한다. 주간 모니터는 단발 캡처가 아니라 추이로 누적해, 개선이 noise band를 넘었는지 시간축에서 판정할 토대를 만든다.
baseline 없이 시작하면 나중에 어떤 성과도 증명할 수 없다. 지금 출발점부터 정직하게 떠두는 것이 가장 저렴한 투자다. Citeon 무료 AI 가시성 진단으로 우리 brand의 baseline을 지금 박제하세요 →
자주 묻는 질문
baseline을 재려면 같은 질문을 몇 번이나 넣어야 하나요?
정해진 마법의 숫자는 없습니다. 핵심은 '몇 번이면 충분한가'가 아니라 '신뢰구간이 의사결정에 쓸 만큼 좁아졌는가'입니다. 반복할수록 구간이 좁아지다가 어느 시점부터 거의 안 좁아지는데, 그 지점이 실용적 멈춤점입니다. 단일 측정은 어떤 경우에도 baseline으로 부족합니다 — 최소한 분포를 볼 수 있을 만큼은 반복해야 합니다.
전 엔진 SOV를 하나로 합쳐서 보고하면 안 되나요?
경영진 요약용 한 줄로는 합산값을 보여줄 수 있지만, baseline 자체는 반드시 엔진별로 분리해 보관해야 합니다. 엔진마다 인용 출처 성향이 90% 가까이 다르기 때문에, 합산하면 'ChatGPT에서 올랐지만 Perplexity에서 내렸다' 같은 진짜 신호가 평균 속에 묻힙니다. 개선 레버도 엔진별로 다르므로, 분리해야 무엇을 고칠지가 보입니다.
이미 몇 달 운영한 사이트인데 지금 baseline을 잡아도 의미가 있나요?
있습니다. 과거 AI 답변은 휘발성이라 복원할 수 없지만, '지금'이 앞으로의 모든 개선 측정의 출발점이 됩니다. baseline을 미룬 만큼 비교 불가능한 공백이 늘어날 뿐이므로, 가장 좋은 시점은 '바로 지금'입니다.
가시성 baseline만 잡으면 충분한가요?
부족합니다. 가시성은 매출·리드를 설명하는 선행(2차) 지표일 뿐입니다. 'AI 유입 → 전환 → 매출'까지 묶어 baseline을 떠야 나중에 '가시성 개선이 실제 비즈니스 성과로 이어졌는가'를 어트리뷰션할 수 있습니다. CFO 앞에서 SOV 단독은 약하고, 전환 baseline과 짝지어야 강해집니다.
개선 후 숫자가 baseline보다 올랐는데 왜 '개선이 아니다'라고 하나요?
baseline은 폭(신뢰구간)을 가진 출발점이기 때문입니다. 개선 후 값이 baseline 신뢰구간 안에 있으면, 그 차이는 우리가 한 일 덕분인지 그날의 자연 변동(노이즈)인지 구분되지 않습니다. 두 구간이 겹치지 않을 때에야 비로소 '노이즈로 설명되지 않는 실질 개선'이라고 정직하게 말할 수 있습니다.
참고자료
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Karpukhin et al. (2020), Dense Passage Retrieval for Open-Domain Question Answering
- Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts
- Aggarwal et al. (2023), GEO: Generative Engine Optimization (KDD 2024)
- Anthropic (2024), Introducing Contextual Retrieval
- Conductor, Debunking AI Prompt Volume