대행 비용 대비 효과를 검증하는 프레임워크

대행 비용 대비 효과는 '인용·트래픽·매출'을 한 줄로 합산해 ROI 하나로 보고하면 안 되고, 비용 → 선행지표(가시성) → 행동지표(트래픽·다크) → 후행지표(전환·매출)의 4개 층을 각각 따로 측정한 뒤 층 사이의 전이율로 인과를 추적해야 검증된다. 이유는 단순하다. AI 검색 가시성은 측정 자체가 흔들리고(비결정성), 트래픽의 상당수는 클릭 없이 사라지며(다크 트래픽), 매출은 대행 외 수십 개 변수에 동시에 영향을 받는다. 이 세 가지를 한 숫자로 뭉개면 '운이 좋았던 달'과 '대행이 실제로 일한 달'을 구분할 수 없다. 이 글은 대행사가 가져오는 리포트를 CFO가 의심의 눈으로 뜯어볼 때 통과하는 검증 프레임을, 측정 가능한 단위로 분해해 설계한다.

왜 'ROI 한 줄'은 거의 항상 틀리는가

대행 효과 검증이 어려운 진짜 원인은 의욕 부족이 아니라 측정 대상의 물리학이다. 세 가지 구조적 문제가 동시에 작동한다.

가시성은 결정적이지 않다. 같은 질문을 같은 엔진에 100번 던지면 100번 다른 답이 나올 수 있다. temperature=0으로 고정해도 GPU 연산 순서·배치 처리 때문에 출력이 흔들린다. 한 실험에서는 2,350억 파라미터급 모델에 동일 입력을 1,000회 넣었을 때 80가지 서로 다른 출력이 관측됐고, 6개 모델 480회 실험(arXiv:2602.14349)에서도 같은 비결정성이 확인됐다. 즉 '이번 주 인용 3회 → 다음 주 1회'는 대행 성과가 떨어진 게 아니라 측정 노이즈일 수 있다.
트래픽의 대부분은 보이지 않는다. AI 답변 안에서 브랜드가 언급돼도 사용자가 클릭하지 않으면 GA에 한 줄도 안 남는다(제로클릭). 클릭해도 ChatGPT 앱·Perplexity 인앱 브라우저는 리퍼러를 숨기거나 'direct'로 떨어뜨린다.
매출은 다인과(multi-causal)다. 같은 달에 시즌 세일, 경쟁사 품절, 인플루언서 언급, 광고 예산 변경이 겹치면 매출 상승분 중 '대행 몫'을 단순 합산으로 떼어낼 수 없다.

그래서 검증의 출발점은 'ROI를 계산하자'가 아니라 '각 층을 오염 없이 따로 재고, 층 사이 전이만 인과로 본다'이다.

먼저, 왜 '인용'이 선행지표로 의미가 있나 — RAG의 작동 원리

대행이 만지는 1차 산출물은 매출이 아니라 '인용 가능성'이다. 이게 왜 매출의 선행지표가 되는지는 AI 검색의 내부 동작, 즉 RAG(retrieval→reranking→generation)을 알아야 납득된다. RAG는 2020년 Lewis 등(arXiv:2005.11401)이 제안한 구조로, 모델이 외운 지식(파라메트릭)에 더해 그때그때 외부 문서를 찾아와(비파라메트릭) 답을 만든다. 단계를 일상 비유로 풀면 이렇다.

retrieval(검색) = 도서관에서 질문과 관련된 책 수십 권을 일단 책상에 쌓는 단계. 여기서 키워드 색인(BM25)과 '의미를 아는 사서'(임베딩 기반 dense retrieval)가 함께 일한다. Karpukhin 등(arXiv:2004.04906)은 의미 검색이 단순 키워드 검색을 능가함을 보였고, 둘을 합친 하이브리드 검색의 recall@10은 공개 벤치마크 종합에서 의미 단독 약 78%·BM25 단독 약 65%에서 약 91%까지 올라간다. 즉 후보에 '들어가느냐'가 1차 관문이다.
reranking(재정렬) = 책상에 쌓인 책을 질문과 나란히 놓고 한 권씩 정독해 '진짜 이 질문에 답하는' 순서로 다시 줄 세우는 단계(cross-encoder). 난도 높은 질문에서 NDCG가 5~15, 때로 약 20까지 오른다. Anthropic의 Contextual Retrieval(2024)은 청크에 맥락을 덧붙이고 하이브리드+reranking을 더했을 때 검색 실패율이 35%→49%→67%까지 감소한다고 보고했다.
generation(생성) = 사서가 상위 몇 권만 읽고 답을 쓰는 단계. 여기서 'Lost in the Middle'(Liu 등, arXiv:2307.03172)이 작동한다. 긴 맥락의 중간에 놓인 정보는 U자형으로 손실되고, 앞·끝에 놓인 정보가 인용된다.

이 메커니즘이 검증 프레임에 주는 함의는 분명하다. 대행이 '인용 가능성'을 올린다는 건 retrieval 후보 진입(크롤러 허용·구조화), reranking 통과(질문에 직답하는 청크), generation 채택(앞·끝 배치, 통계·출처·직접 인용문)을 동시에 손본다는 뜻이다. GEO 연구(Aggarwal 등, arXiv:2311.09735, KDD 2024)는 통계 수치·출처 인용·직접 인용문을 추가하면 특정 조건에서 생성엔진 가시성이 최대 약 40% 오른다고 측정했다. 인용은 매출보다 빠르게 움직이는 선행지표이고, 그래서 검증 프레임의 2층에 놓인다.

4층 검증 프레임워크

핵심은 각 층을 독립적으로 계측하고, 인접 층 사이의 '전이율'만 인과로 해석하는 것이다.

층	측정 대상	대표 지표	측정 방법	오염 주의
0. 비용(Input)	대행에 실제 투입한 돈·시간	월 대행비, 광고비, 내부 검수 시간	회계 원장 그대로	광고비를 대행 성과로 착시
1. 선행(Leading)	AI 검색 가시성	SOV(인용 점유율), 인용 횟수, 평균 노출 순위	4엔진 반복 측정 + 신뢰구간	단일 측정 노이즈
2. 행동(Behavioral)	유입·다크 트래픽	AI 리퍼러 세션, direct 급증분, 브랜드 검색량	UTM + 리퍼러 + 사후 설문	direct를 전부 AI로 귀속
3. 후행(Lagging)	전환·매출	리드, 가입, 매출, LTV	멀티터치 + 인크리멘탈리티	라스트클릭만 보기

이 표의 진짜 쓸모는 '어느 층에서 막혔는지'를 짚어준다는 데 있다. 1층은 올랐는데 2층이 안 오르면 인용이 클릭으로 전환되지 않는 것(제목·스니펫 문제). 2층은 올랐는데 3층이 안 오르면 랜딩·오퍼 문제. 매출만 보면 '대행이 효과 없다'로 끝나지만, 층으로 쪼개면 처방이 나온다.

1층 — 선행지표를 '신뢰구간'으로 잰다

단일 측정은 노이즈다. 비결정성 정량화 연구(arXiv:2603.08924)는 AI 인용이 멱법칙(power-law)으로 출렁이므로 다중 실행 + 부트스트랩 신뢰구간을 권한다. 실무에선 같은 질문 세트를 주 단위로 N회 반복 측정하고, 점추정 대신 범위로 보고한다.

# 약한 보고 vs 강한 보고
❌ "이번 주 ChatGPT 인용 3회 → 우리 브랜드 노출 상승"
✅ "질문 50개 × 엔진4 × 3회 반복(600 측정).
   SOV 18% (95% CI 14~22%). 4주 추세 12→15→17→18%,
   기울기 양(+)이고 CI 하단도 상승 → 노이즈가 아니라 추세."

여기서 SOV(Share of Voice)는 '카테고리 AI 답변 중 우리 브랜드가 언급된 비율'이다. 주의할 점 두 가지. 첫째, 질문 세트 선정이 결과를 좌우한다 — 유리한 질문만 고르면 SOV가 부풀려진다(브랜드명 포함 질문 비중을 고정·공개해야 한다). 둘째, 엔진을 합산하면 메커니즘이 가려진다. ChatGPT는 위키·커뮤니티를, Gemini는 구글 색인·E-E-A-T를, Claude는 근거 약한 콘텐츠를 보수적으로 걸러내고, Perplexity는 실시간 인라인 인용을 선호한다. 대규모 인용 분석에서 ChatGPT-Perplexity의 도메인 중복은 약 11%에 불과했고 인용의 약 90%가 엔진마다 달랐다. 합산 SOV 한 줄은 '어느 엔진에서 왜 안 되는지'를 통째로 숨긴다.

2층 — 다크 트래픽을 정직하게 추정한다

AI 유입은 GA에서 잘 안 보인다. 그래서 '안 보이니 0'으로 처리하면 대행 효과를 과소평가하고, 반대로 'direct 증가분을 전부 AI'로 귀속하면 과대평가한다. 둘 다 틀린 보고다. 정직한 추정은 세 신호를 겹쳐 본다.

식별 가능한 AI 리퍼러: chat.openai.com, perplexity.ai, gemini.google.com 등에서 떨어지는 세션을 UTM/리퍼러로 분리.
브랜드 직접 검색량 변화: AI 답변에서 브랜드를 본 사용자가 나중에 브랜드명을 직접 검색(네이버·구글)하는 '에코' 효과. 가시성 상승 구간과 브랜드 검색량 상승 구간의 상관을 본다.
온사이트 설문: 신규 전환자에게 '어디서 처음 알게 되셨나요'를 묻는 1문항(self-reported attribution). 디지털로 잡히지 않는 경로를 보정하는 표준 기법이다.

❌ "direct 트래픽이 30% 늘었으니 AI 검색 효과다"
✅ "direct +30% 중, AI 리퍼러로 식별된 12%p + 같은 기간
   브랜드 검색량 +22%(가시성 상승과 시점 일치) + 온사이트
   설문 'AI 답변에서 봤다' 9% → AI 기여 추정 18~24%p,
   나머지는 캠페인/재방문으로 분리"

전환율에 대해선 과장하지 않는 게 신뢰를 만든다. 일부 분석에서 AI 검색 유입의 전환율이 일반 검색보다 몇 배 높게 나타나기도 하지만(질문을 거치며 의도가 무르익은 상태로 도착하기 때문), 구체 배수를 단정하면 검증이 아니라 영업이 된다. '우리 데이터에서 AI 유입 전환율 = X%, 일반 검색 = Y%'를 자체 측정해 보고하는 게 맞다.

3층 — 라스트클릭을 버리고 인크리멘탈리티로

라스트클릭 어트리뷰션은 AI 검색의 기여를 구조적으로 놓친다. AI 답변은 보통 여정 초·중반에서 브랜드를 인지시키고, 마지막 클릭은 브랜드 검색이나 광고가 가져가기 때문이다. 그래서 멀티터치로 보조 경로에 가중치를 주되, 최종 판정은 인크리멘탈리티(increase 여부)로 한다.

멀티터치: 한 전환에 닿은 모든 접점에 분배. AI 리퍼러가 '첫 접점'이었던 비율을 별도 추적.
인크리멘탈리티(준실험): '대행을 했을 때'와 '안 했을 때'의 차이. 지역·카테고리·시기를 나눈 홀드아웃, 또는 대행 집중 카테고리 vs 미집중 카테고리의 difference-in-differences. '대행으로 인해 추가로 생긴 매출'만 ROI 분자에 올린다.

대행 ROI(증분 기준)
= (증분 매출 × 공헌이익률 − 대행비 − 광고비) / (대행비 + 광고비)

증분 매출 = 처치군 매출 − 대조군(미집중) 매출의 기대치
# 시즌·경쟁·전체 트래픽 변동은 대조군이 함께 흡수 → 상쇄

이게 '운 좋은 달'과 '대행이 일한 달'을 가르는 핵심이다. 전체 매출이 올라도 대조군이 똑같이 올랐다면 증분은 0이다. CFO식 측정(Overdrive식 사고)에서 가시성은 매출·리드라는 결과를 설명하는 2차 지표일 뿐, 그 자체가 목적이 아니다.

계약서에 박는 KPI — 약한 예 vs 강한 예

검증은 사후가 아니라 계약 시점에 설계된다. 검증 불가능한 KPI에 서명하면 사후에 무슨 데이터를 들이대도 논쟁만 남는다.

항목	❌ 약한 KPI	✅ 강한 KPI
가시성	"AI 노출을 늘리겠습니다"	"질문 50개 SOV를 4엔진 평균 12%→20%, 8주, 95% CI 하단도 상승"
트래픽	"방문자를 늘리겠습니다"	"AI 식별 리퍼러 세션 월 X→Y, direct 귀속은 설문 보정 후 보고"
매출	"매출 상승에 기여"	"홀드아웃 대비 증분 매출, 분기 인크리멘탈리티 리포트 제출"
측정 방식	"리포트 제공"	"원시 측정 로그(질문·엔진·회차·타임스탬프) raw 제공, 재현 가능"

특히 마지막 줄이 중요하다. 대행이 가져온 점수를 고객이 재현할 수 있어야 검증이다. 점수만 예쁘게 올린 리포트는 고객이 직접 질문을 던져보는 순간 무너진다. 프롬프트 볼륨(특정 질문이 한 달에 몇 번 입력되는지) 같은 수치는 실측이 불가능하고 패널 모델링 추정치(시장의 1% 미만 표본)에 불과하니, 그런 숫자를 KPI 분모로 쓰자는 제안은 경계해야 한다. Conductor의 표현처럼 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다."

국내 맥락 — 네이버를 빼면 검증이 반쪽이다

한국 고객이라면 4층 프레임을 네이버에도 적용해야 한다. 네이버는 큐:(Cue:)·클로바X를 2026-04-09 종료하고, AI탭을 2026-06-25~26 전체 정식 출시(대화형·에이전틱)했다. AI 브리핑(요약)은 이미 통합검색 쿼리의 20% 이상에 적용되고, 2026-04 기준 AI 브리핑 인용은 월 약 3.558억 건에 달한다. 한 표본분석(272건)에서는 인용 출처의 약 58%가 블로그였고, 약 49%가 통합검색 Top10 밖에서 인용됐다. 즉 '검색 1페이지에 없어도 AI가 인용'하는 구조라, 기존 SEO 순위 지표만으로는 네이버 가시성을 검증할 수 없다. 네이버는 C-Rank(출처 신뢰·전문성)+D.I.A.+(문서 의도)로 평가하고, 외부 크롤러를 차단하기 때문에 글로벌 AI는 나무위키·위키백과·티스토리를 우회 경로로 인용한다 — 이 우회 구조까지 봐야 '왜 우리만 안 잡히나'가 설명된다.

전제 조건도 잊지 말자. 글로벌 AI 후보에 들어가려면 robots.txt에서 GPTBot·OAI-SearchBot·PerplexityBot·ClaudeBot·anthropic-ai·Google-Extended를 허용해야 한다. 크롤러가 막혀 있으면 1층 점수는 구조적으로 0이고, 그건 대행 성과 이전의 위생 문제다.

Citeon은 이 원리를 제품에 담았다

위 4층 중 1층(선행지표)을 정직하게 재는 게 검증의 출발점인데, Citeon은 바로 이 지점을 측정한다. ChatGPT·Gemini·Perplexity·Claude 4개 엔진의 인용을 측정해 SOV(인용 점유율)를 산출하고, 주간 모니터링으로 추이를 보여준다 — 단일 측정의 노이즈를 추세로 바꿔 '운'과 '성과'를 구분하게 만드는 설계다. 엔진을 합산해 가리지 않고 4엔진을 따로 보는 이유는 위에서 본 대로 엔진마다 인용 메커니즘이 다르기 때문이다.

또한 사이트 진단 엔진으로 retrieval 후보 진입을 막는 구조·크롤러 위생 문제를 SEO/AEO/GEO 점수로 짚고, 경쟁사 역추적으로 '우리 대신 누가, 왜 인용되는지'를 드러낸다. 이건 2층이 안 오를 때 처방을 찾는 도구다. 시작은 비용 0원 — 무료 AI 가시성 진단으로 지금 우리 브랜드의 1층 점수가 어디인지부터 숫자로 확인할 수 있다.

→ citeon.cloud에서 무료 진단 받기 (₩0)

자주 묻는 질문

대행 한 달 만에 매출로 효과를 검증할 수 있나요?

1층(가시성)은 수 주 내 추세가 보이지만, 3층(증분 매출)은 보통 한 분기 이상이 필요합니다. AI 검색은 여정 초·중반의 인지에 작용해 매출까지 시차가 있기 때문입니다. 그래서 단기엔 선행지표(SOV·인용 추세)를, 중기엔 행동지표(AI 리퍼러·브랜드 검색량)를, 장기엔 인크리멘탈리티 기반 증분 매출을 봅니다. 한 달 매출만으로 판단하는 건 노이즈를 성과로 오독할 위험이 큽니다.

인용이 늘었는데 매출이 안 늘면 대행이 실패한 건가요?

아니요, '어느 층에서 막혔는지'를 봐야 합니다. 1층(인용)은 올랐는데 2층(클릭·유입)이 안 오르면 제목·스니펫이 클릭을 못 만드는 문제이고, 2층은 올랐는데 3층(전환)이 안 오르면 랜딩·오퍼·가격 문제입니다. 4층으로 분해하면 '실패'가 아니라 다음에 손볼 지점이 나옵니다. 매출 한 줄만 보면 이 진단이 불가능합니다.

direct 트래픽이 늘면 전부 AI 검색 효과로 봐도 되나요?

안 됩니다. direct에는 재방문·북마크·앱 내 클릭·오프라인 입소문이 모두 섞입니다. 정직한 추정은 (1) 식별 가능한 AI 리퍼러, (2) 같은 기간 브랜드 직접 검색량 변화, (3) 온사이트 설문('어디서 알게 됐나') 세 신호를 겹쳐 범위로 보고하는 것입니다. direct 증가분 전체를 AI로 귀속하면 효과를 과대평가하게 됩니다.

측정값이 매주 흔들리는데 대행이 일을 안 하는 건가요?

흔들림 자체는 정상입니다. 같은 입력에도 LLM 출력은 비결정적으로 변합니다(GPU 연산·배치 처리). 그래서 단일 측정이 아니라 같은 질문 세트를 반복 측정해 신뢰구간으로 봐야 합니다. 판단 기준은 '주간 값'이 아니라 '여러 주 추세의 기울기와 신뢰구간 하단'입니다. 추세가 우상향이고 CI 하단도 함께 오르면 노이즈가 아니라 성과입니다.

대행사 리포트가 진짜인지 어떻게 확인하나요?

재현 가능성을 요구하세요. 점수만 적힌 리포트가 아니라 원시 측정 로그(질문 문장·엔진·측정 회차·타임스탬프)를 함께 받아, 같은 질문을 직접 엔진에 던져 교차 확인할 수 있어야 합니다. 또 질문 세트 선정 기준(브랜드명 포함 비중 등)이 공개돼야 SOV가 유리한 질문으로 부풀려지지 않았는지 검증됩니다.