대규모 인용 패턴 연구가 밝혀낸 것들

결론부터. 대규모 인용 패턴 연구들이 일관되게 가리키는 사실은 하나다 — AI 검색엔진은 같은 질문에도 서로 거의 다른 출처를 인용한다. 한 대규모 인용 분석에서 ChatGPT와 Perplexity가 같은 도메인을 인용한 비율은 약 11%에 불과했고, 전체 인용의 약 90%는 엔진마다 달랐다. 즉 'AI 검색 인용'이라는 단일한 시장은 없다. 엔진 수만큼의 서로 다른 게임이 동시에 돌아가고 있을 뿐이다. 이 글은 그 데이터가 왜 그렇게 나오는지를 RAG(retrieval → reranking → generation) 메커니즘으로 끝까지 추적한다. 근거 없는 단정은 빼고, 숫자가 말하게 둔다.

왜 이 연구가 중요한가 — '평균 가시성'이라는 착시

많은 브랜드가 'AI 검색에서 우리가 몇 % 노출되나'를 하나의 숫자로 묻는다. 이 질문 자체가 함정이다. 도메인 중복 11%, 인용 불일치 90%라는 숫자가 의미하는 바는, 엔진을 합산한 '평균 노출률'이 실제로 존재하지 않는 가상의 평균이라는 것이다.

비유하자면 이렇다. 서울·부산·광주 세 도시의 맛집 지도가 있는데, 세 지도에 공통으로 실린 식당이 10곳 중 1곳뿐이라고 하자. 이때 '세 도시 평균 맛집 순위'를 만들면, 그 순위는 어느 도시에서도 맞지 않는다. AI 엔진 인용도 똑같다. ChatGPT에서 1위인 출처가 Perplexity에서는 후보에조차 없을 수 있다. 합산은 메커니즘을 가린다. 그래서 인용 패턴 연구는 '평균' 대신 '엔진별 분포'를 봐야 한다고 말한다.

핵심 발견 1 — 엔진마다 출처가 다르다 (그것도 압도적으로)

대규모 인용 분석(Profound·Discovered Labs 등이 공개한 데이터)에서 반복적으로 나타나는 패턴:

같은 분석이라도 표본·기간·질문 세트에 따라 수치는 흔들린다(그래서 '약'을 붙인다). 하지만 방향은 견고하다 — ChatGPT는 위키백과형, Perplexity는 커뮤니티형이라는 서로 다른 '취향'을 가진다.

왜 그런가 — RAG 파이프라인이 엔진의 '취향'을 만든다

인용이 엔진마다 다른 건 우연이 아니다. 각 엔진의 검색(retrieval) → 재정렬(reranking) → 생성(generation) 파이프라인이 다르게 설계됐기 때문이다. 하나씩 뜯어보자.

1단계 retrieval — 어떤 후보를 길어 올리는가

RAG의 출발점은 검색이다. RAG라는 개념을 처음 정식화한 Lewis 등의 2020년 논문(arXiv:2005.11401)은, 언어모델이 학습 때 외운 지식(파라메트릭 메모리)만으로 답하지 않고 외부 문서를 그때그때 길어 올려(비파라메트릭 메모리) 답을 만든다는 구조를 제시했다. AI 검색엔진은 바로 이 구조다. 답을 쓰기 전에 먼저 '후보 문서'를 모은다.

문제는 무엇을 후보로 보느냐가 엔진마다 다르다는 것이다.

• ChatGPT: 신뢰·합의가 높은 정제된 지식(위키백과, 구조화된 문서)에 비중. 그래서 위키백과 인용이 절반 가까이(~47.9%).
• Perplexity: 실시간 웹 크롤 + 인라인 인용. 살아있는 경험담(Reddit 등)을 적극 후보로(~46.7%).
• Gemini: 구글 색인 자산과 E-E-A-T(경험·전문성·권위·신뢰) 신호에 의존.
• Claude: 근거가 약한 콘텐츠를 보수적으로 걸러내는 경향(Citations API 기반).
• Grok: 실시간 웹 + X 스트림을 끌어오되 인용 정확도 편차가 있음.

후보 풀의 입구가 다르면, 그 뒤 단계가 아무리 같아도 최종 인용은 갈라질 수밖에 없다. 도메인 중복 11%의 1차 원인이 여기 있다.

검색이 의미를 읽는 방식 — 임베딩과 하이브리드

현대 RAG의 검색은 단순 키워드 매칭이 아니다. Dense Passage Retrieval(Karpukhin 등 2020, arXiv:2004.04906)은 의미를 벡터로 바꿔 비교하는 임베딩 검색이 전통적 키워드 검색(BM25)을 능가한다는 걸 보였다. 비유하면 키워드 검색은 도서관의 색인 카드(정확한 단어가 일치해야 찾음)이고, 임베딩 검색은 '주제를 이해하는 사서'(단어가 달라도 뜻이 통하면 찾아줌)다.

실무에서 가장 강한 건 둘을 합친 하이브리드 검색이다. 공개 벤치마크를 종합하면 recall@10(상위 10개 안에 정답이 들어올 확률)은 대략 이렇다:

앤트로픽의 Contextual Retrieval(2024) 실험도 같은 방향이다. 청크(문서 조각)에 맥락을 덧붙이자 검색 실패율이 35% 감소(5.7% → 3.7%)했고, 여기에 BM25를 더한 하이브리드는 49%, 리랭킹까지 얹으면 67% 감소했다. 핵심 교훈: 콘텐츠가 '뜻으로도, 단어로도, 맥락으로도' 잡히게 쓰여 있어야 어느 엔진의 검색 단계든 통과한다.

2단계 reranking — 후보를 질문과 함께 다시 읽는다

검색으로 모은 수십 개 후보 중 실제 인용은 소수다. 그 추림을 하는 게 리랭킹이다. 1차 검색이 '제목만 훑어 후보를 모으는 단계'라면, 리랭킹(cross-encoder)은 질문과 후보 문서를 나란히 놓고 한 글자씩 같이 읽어 점수를 다시 매기는 단계다. 효과는 크다 — 난도에 따라 NDCG가 +5~15, 어려운 경우 ~20까지 오른다.

그런데 엔진마다 리랭커의 기준이 다르다. 어떤 엔진은 '권위 신호'를, 어떤 엔진은 '질문과의 직접적 어휘 일치'를, 어떤 엔진은 '최신성'을 더 본다. 같은 후보 풀이라도 리랭커가 다르면 상위 인용이 갈린다. 인용 불일치 90%의 2차 원인이다.

3단계 generation — 위치까지 인용을 좌우한다

마지막으로 모델이 추려진 문서를 읽고 답을 쓴다. 여기서 흔히 간과되는 함정이 'Lost in the Middle'(Liu 등 2023, arXiv:2307.03172)이다. 긴 맥락을 줄 때 모델은 앞과 끝의 정보를 잘 쓰고 중간 정보는 흘린다(성능이 U자형). 리랭커가 당신 콘텐츠를 후보 12개 중 7번째에 놓으면, 검색에 성공하고도 답변에서 인용되지 못할 수 있다.

정리하면 인용은 retrieval(후보 입장) → reranking(상위 진입) → generation(중간에 안 묻힘) 세 관문을 모두 통과해야 일어난다. 엔진마다 세 관문의 설계가 다르니, 결과가 11%만 겹치는 게 오히려 자연스럽다.

핵심 발견 2 — 네이버는 또 다른 우주다

한국 시장은 글로벌 패턴 위에 네이버라는 변수가 하나 더 얹힌다. 한 표본분석(272건)에서 네이버 AI 인용 출처의 약 58%가 블로그였고, 인용의 약 49%가 통합검색 Top10 바깥에서 나왔다. 통합검색 순위와 AI 인용이 따로 논다는 뜻이다.

네이버 AI 브리핑(요약)은 통합검색 쿼리의 20% 이상에 적용되고, 2026년 4월 기준 AI 브리핑 인용은 월 약 3.558억 건 규모다. 알고리즘은 C-Rank(출처 신뢰·전문성) + D.I.A.+(문서 의도)로, 콘텐츠 5원칙(직접경험·일관주제·진정성·읽기 쉬운 구조·최신성)을 평가한다. 한편 네이버는 외부 크롤러를 차단해서, 글로벌 AI들은 네이버 본문 대신 나무위키·위키백과·티스토리를 통해 한국 정보를 우회 수집한다. 같은 한국어 질문이라도 ChatGPT가 보는 출처와 네이버 AI탭이 보는 출처가 또 갈리는 이유다.

핵심 발견 3 — 단일 측정은 노이즈다

인용 패턴 연구에서 가장 실무를 흔드는 발견은 '측정 자체가 불안정하다'는 것이다. 직관과 달리 temperature=0(가장 결정적인 설정)에서도 LLM 출력은 흔들린다. GPU 연산 순서·배치 차이 때문이다. 한 보고에 따르면 2,350억 파라미터급 모델을 1,000회 돌렸을 때 80가지의 서로 다른 출력이 나왔다. 6개 모델을 480회 돌린 실험(arXiv:2602.14349)도 비결정성을 정량화했다.

나아가 AI 가시성의 불확실성을 정량화한 연구(arXiv:2603.08924)는 인용 빈도가 멱법칙(power law)을 따라 출렁인다고 보고하며, 다중 실행 + 부트스트랩 신뢰구간을 권장한다. 즉 '이번 주 ChatGPT에서 우리가 인용됐다/안 됐다'는 단발 관측은 동전 한 번 던진 것과 같다. 의미 있는 측정은 여러 번 돌려 분포를 보는 것이다.

그래서 실무 대조는 이렇게 바뀐다:

• ❌ 약한 측정: "어제 ChatGPT에 '○○ 추천' 물어보니 우리가 안 나왔다. 가시성 0이다."
• ✅ 강한 측정: "같은 질문 세트를 4개 엔진에 주 단위로 N회 반복 측정해 인용률 분포와 추세를 본다. 단발 결과는 신뢰구간 안 노이즈로 간주한다."

핵심 발견 4 — 인용을 '만드는' 변수는 따로 있다 (GEO)

그렇다면 어떤 콘텐츠가 인용을 끌어올까. 생성엔진 가시성을 실험한 GEO 연구(Aggarwal 등 2023, arXiv:2311.09735, KDD 2024)는 구체적 처방을 내놨다. 통계 인용·출처 명시·직접 인용문을 추가했을 때 특정 조건에서 생성엔진 가시성이 최대 약 40% 상승했다. 모호한 마케팅 문장보다, 검증 가능한 숫자와 출처가 박힌 문장이 RAG의 세 관문을 더 잘 통과한다는 뜻이다.

실제 문장으로 대조하면 차이가 분명하다:

• ❌ 약한 예: "저희 솔루션은 업계 최고 수준의 검색 정확도를 자랑합니다."
• ✅ 강한 예: "하이브리드 검색은 의미 단독 대비 recall@10을 약 78%에서 91%로 끌어올렸다(공개 벤치마크 종합). 리랭킹을 더하면 검색 실패율이 추가로 줄어든다."

아래 문장도 마찬가지다:

• ❌ 약한 예: "많은 기업이 AI 검색에서 성과를 보고 있습니다."
• ✅ 강한 예: "한 대규모 인용 분석에서 ChatGPT와 Perplexity의 도메인 중복은 약 11%였다 — 엔진별로 따로 최적화해야 하는 이유다."

강한 예에는 검색이 잡을 어휘(recall, 리랭킹, 도메인 중복)와 모델이 인용할 숫자·출처가 함께 들어 있다. 이것이 RAG 친화적 글쓰기의 핵심이다. 그리고 답변형 첫 문장(직답)으로 시작하면 generation 단계에서 그대로 발췌되기 쉽다.

그래서 무엇을 측정하고, 무엇을 만들 것인가

인용 패턴 연구를 실무로 번역하면 네 가지 원칙이 남는다.

한 가지 덧붙이면, 프롬프트 '검색량' 같은 지표는 조심해야 한다. AI 프롬프트 볼륨은 실측이 불가능하고 패널(시장 1% 미만) 모델링 추정치일 뿐이다. Conductor의 표현대로 "신뢰할 수 없는 검색량 데이터는 없는 것보다 나쁘다". 측정의 목적은 정밀한 가짜 숫자가 아니라, 매출·리드라는 결과를 설명하는 2차 지표로서의 가시성이다.

Citeon은 이 원리를 제품에 담았다

위 연구들이 가리키는 결론은 명확하다 — 엔진을 합산하지 말고 분리해서, 한 번이 아니라 추세로 보라. Citeon은 정확히 그 구조로 만들어졌다.

• 4엔진 분리 측정(SOV): ChatGPT·Gemini·Perplexity·Claude에서 브랜드가 인용되는 비율을 엔진별로 따로 측정한다. 도메인 중복 11%라는 현실을 합산으로 가리지 않는다.
• 주간 모니터 추이: 단발 관측이 노이즈라는 비결정성 연구에 맞춰, 한 번의 캡처가 아니라 주간 추세로 본다.
• 사이트 진단엔진: URL을 넣으면 SEO·AEO·GEO 점수와 한국어 처방을 준다. RAG 세 관문을 통과할 콘텐츠인지 점검한다.
• 경쟁사 역추적: 경쟁 브랜드가 어느 엔진에서 어떤 패턴으로 인용되는지 역설계한다.

먼저 무료 진단(₩0)으로 지금 우리 브랜드가 4개 엔진에서 어떻게(혹은 어떻게 안) 인용되는지부터 확인해 보길 권한다. → citeon.cloud에서 무료 진단 받기

자주 묻는 질문 (FAQ)

참고자료

• Lewis et al. 2020 — Retrieval-Augmented Generation (RAG)
• Karpukhin et al. 2020 — Dense Passage Retrieval
• Liu et al. 2023 — Lost in the Middle
• Aggarwal et al. 2023 — GEO: Generative Engine Optimization (KDD 2024)
• Anthropic 2024 — Introducing Contextual Retrieval
• Conductor — Debunking AI Prompt Volume