Lost in the Middle이 콘텐츠 전략에 주는 교훈

직답: 'Lost in the Middle'이 콘텐츠 전략에 주는 핵심 교훈은 하나입니다 — 가장 중요한 답은 글의 맨 앞과 핵심 문단의 첫 문장에 두라. 언어모델은 긴 맥락의 중간에 묻힌 정보를 체계적으로 놓치기 때문입니다. AI가 당신의 글을 읽고 답을 만들 때, 핵심이 문단 중앙 어딘가에 숨어 있으면 그 정보는 '읽혔지만 쓰이지 못한' 채 버려집니다. 이건 비유가 아니라 2023년 스탠퍼드·UC버클리 연구진(Liu 등, arXiv:2307.03172)이 측정으로 보인 모델의 구조적 약점입니다.

이 글에서는 이 현상이 왜 일어나는지를 RAG(검색→재정렬→생성) 메커니즘으로 끝까지 파고들고, 그래서 '발견되는 콘텐츠'를 어떻게 써야 하는지를 ❌약한 예 / ✅강한 예의 실제 문장 대조로 보여드립니다. 근거 없는 단정은 싫어합니다. 그러니 수치와 메커니즘으로 가겠습니다.

1. 'Lost in the Middle'은 정확히 무엇을 측정했나

Liu 등의 실험 설계는 단순하면서 잔인합니다. 모델에게 여러 개의 문서를 맥락으로 주고 질문에 답하게 합니다. 정답이 든 단 하나의 문서를 맥락의 처음 / 중간 / 끝 위치로 옮겨가며 정확도를 측정했습니다. 결과는 깨끗한 U자형 곡선이었습니다.

• 정답 문서가 맨 앞에 있을 때 — 정확도 최고
• 정답 문서가 맨 끝에 있을 때 — 거의 그만큼 높음
• 정답 문서가 한가운데에 있을 때 — 정확도가 바닥으로 꺼짐

충격적인 부분은, 중간에 정답을 둔 성능이 아예 문서를 주지 않았을 때(closed-book)보다도 낮게 떨어지는 경우가 있었다는 것입니다. 정보를 줬는데 안 준 것만 못한 상황. 모델이 그 정보를 '못 본' 게 아니라, 보고도 활용 우선순위에서 밀어낸 것입니다.

비유하자면, 20분짜리 회의 녹취록을 누군가에게 읽으라고 건넸을 때와 같습니다. 사람은 회의의 첫 마디(분위기를 잡는 결론)와 마지막 마디(액션 아이템)는 또렷이 기억하지만, 12분쯤에 누가 흘리듯 말한 핵심 숫자는 흐릿하게 사라집니다. LLM의 어텐션도 똑같이 양 끝에 쏠립니다.

왜 하필 U자형인가 — 메커니즘

이건 모델이 게을러서가 아닙니다. 트랜스포머의 어텐션(attention)이 토큰의 위치에 따라 가중치를 다르게 배분하기 때문입니다. 학습 데이터의 통계적 편향(문서는 보통 앞에서 주제를 던지고 뒤에서 결론을 맺음)과 위치 인코딩의 특성이 겹쳐, 모델은 시퀀스의 양 끝(primacy·recency)에 더 강하게 주의를 줍니다. 맥락 창이 길어질수록 이 가운데 함몰은 더 깊어집니다. 즉 맥락을 길게 넣을수록 중간 정보의 생존율은 오히려 떨어진다는 역설이 생깁니다.

2. 이게 왜 콘텐츠 전략의 문제인가 — RAG 파이프라인 안에서 보기

ChatGPT·Perplexity·구글 AI·네이버 AI 브리핑이 당신의 글을 인용하는 과정은 한 번의 마법이 아니라 3단계 파이프라인입니다. 이 구조는 2020년 Lewis 등이 제안한 RAG(arXiv:2005.11401)의 골격 — 모델 내부 지식(파라메트릭)과 외부 문서(비파라메트릭)를 결합 — 그대로입니다.

'Lost in the Middle'은 정확히 ③ 생성 단계를 강타합니다. 검색과 재정렬을 통과해 맥락 창에 들어간 문서들조차, 그 문서 안에서 핵심이 중앙에 묻혀 있으면 답변에 반영되지 못합니다. 게다가 여러 문서가 한 맥락에 들어갈 때, 중간 순위로 들어간 문서 전체가 통째로 함몰되기도 합니다. 그래서 교훈은 두 층위로 작동합니다.

• 문서 간 위치 — 재정렬에서 상위(앞쪽)에 못 들면 함몰. → 검색·재정렬에서 이기는 콘텐츠를 써야 한다.
• 문서 내 위치 — 한 글 안에서 핵심을 중앙에 묻으면 함몰. → 답을 앞과 각 섹션 머리에 둬야 한다.

검색 단계에서 이기는 법: 하이브리드 검색의 존재

retrieval은 두 방식이 섞입니다. 키워드 일치(BM25)와 의미 임베딩(dense). 2020년 Karpukhin 등(DPR, arXiv:2004.04906)은 임베딩 기반 의미 검색이 전통 BM25를 능가함을 보였지만, 현실의 강한 시스템은 둘을 합칩니다.

하이브리드 검색 = 도서관의 키워드 색인 카드(BM25, 정확한 단어를 찾음) + 주제를 아는 사서(임베딩, 단어가 달라도 뜻으로 찾음). 둘이 같이 일할 때 놓치는 책이 가장 적습니다.

공개 벤치마크들을 종합하면 recall@10(상위 10개 안에 정답이 들어올 확률)이 의미 검색 단독 약 78%, BM25 단독 약 65%인 데 비해, 둘을 RRF로 합친 하이브리드는 약 91%까지 올라갑니다. Anthropic의 Contextual Retrieval(2024) 보고는 더 구체적입니다 — 청크에 맥락 문장을 덧붙이는 것만으로 검색 실패율이 5.7%→3.7%(35% 감소), 여기에 BM25를 더하면 49% 감소, 다시 재정렬을 얹으면 67% 감소. 그들은 상위 20개(top-20) 문서를 맥락에 넣을 것을 권합니다.

콘텐츠 작성자에게 이게 뜻하는 바: 독자가 실제로 칠 법한 단어(BM25용)와 그 주제의 의미장(임베딩용)을 한 글 안에 자연스럽게 다 담아야 두 검색 모두에서 후보로 잡힙니다. 동의어·정식 명칭·구어 표현을 골고루.

재정렬 단계: cross-encoder는 질문과 함께 읽는다

재정렬기(cross-encoder)는 1차 후보를 질문과 문서를 나란히 놓고 다시 채점합니다. 난도 높은 질의에서 NDCG를 5~15(어려우면 20 가까이) 끌어올립니다. 여기서 이기려면 글의 첫 문단이 질문에 직접 답해야 합니다. 사서가 책을 펼쳤을 때 첫 페이지에 답이 보여야 위로 올려준다는 뜻입니다.

3. 그래서 어떻게 쓰는가 — 답변형 첫 문장과 BLUF

핵심 작성 원칙은 군대에서 쓰는 BLUF(Bottom Line Up Front), 저널리즘의 역피라미드와 같습니다. 결론을 맨 위로. 'Lost in the Middle'은 이 오래된 글쓰기 격언에 신경과학 대신 어텐션 메커니즘이라는 근거를 달아준 셈입니다.

대조 1 — 섹션의 첫 문장

❌ 약한 예:
"AEO에 대해 이야기하기 전에, 먼저 검색의 역사를 
돌아볼 필요가 있습니다. 1990년대 후반 야후가...
(7문단 뒤) ...따라서 AEO란 답변 엔진에 인용되도록 
콘텐츠를 최적화하는 것을 의미합니다."
→ 정의가 7문단 뒤 '중간'에 묻힘. 모델이 발췌해 가도 
   이 문장에 닿기 전에 다른 글로 넘어감.

✅ 강한 예:
"AEO(Answer Engine Optimization)는 ChatGPT·Perplexity 
같은 답변 엔진이 콘텐츠를 인용하도록 최적화하는 작업입니다. 
전통 SEO가 '링크 순위'를 노린다면, AEO는 '답변 안의 
인용'을 노립니다."
→ 첫 문장 = 직답. 발췌해 가도 자족적으로 답이 됨.

대조 2 — 자족적 청크(self-contained chunk)

RAG는 글을 통째로가 아니라 청크(조각)로 잘라 인덱싱합니다. 한 청크가 다른 청크에 의존하면("앞서 말한 그것은...") 그 조각만 떼였을 때 의미를 잃습니다. Anthropic의 Contextual Retrieval이 청크마다 맥락을 덧붙여 실패율을 35% 줄인 이유가 이것입니다. 작성자는 미리 자족적으로 써둘 수 있습니다.

❌ 약한 예:
"이 방법은 위의 한계를 해결합니다. 비용도 절반입니다."
→ '이 방법' '위의 한계'가 무엇인지 조각만 보면 알 수 없음.

✅ 강한 예:
"하이브리드 검색(BM25+임베딩)은 의미 검색 단독의 
동의어 누락 문제를 해결하며, 공개 벤치마크에서 
recall@10을 약 78%에서 91%로 끌어올립니다."
→ 주어·근거·수치가 한 조각 안에서 완결.

대조 3 — 긴 글의 끝도 살린다(recency)

U자형이라는 건 끝도 강하다는 뜻입니다. 그래서 긴 글은 결론·요약·FAQ를 맨 끝에 두어 'recency 자리'를 활용해야 합니다. 핵심을 앞(primacy)과 뒤(recency)에 한 번씩 배치하면 함몰 구간(중앙)에 핵심이 갇히는 사고를 막습니다. FAQ가 강력한 이유도 여기 있습니다 — 질문-답 쌍이 짧고 자족적이며 글의 끝에 모여 있습니다.

4. 인용을 부르는 콘텐츠의 '내용물' — GEO 연구가 말하는 것

위치만큼이나 무엇을 담느냐도 중요합니다. Aggarwal 등의 GEO 연구(arXiv:2311.09735, KDD 2024)는 생성 엔진에서의 가시성을 실험으로 측정했는데, 통계·출처 인용·직접 인용문을 더하는 것이 특정 조건에서 가시성을 최대 약 40%까지 올렸다고 보고합니다. 키워드를 욱여넣는 전통 SEO 기법은 효과가 약했습니다.

이건 '왜 그런지' 메커니즘이 맞아떨어집니다. 모델은 생성 시 검증 가능하고 구체적인 문장을 인용 근거로 선호합니다(Claude는 근거 약한 콘텐츠를 보수적으로 걸러내고 Citations API로 출처를 답니다). 숫자·출처·따옴표는 모델이 "이건 안전하게 인용할 수 있다"고 판단할 신호입니다.

❌ 약한 예:
"하이브리드 검색은 일반 검색보다 훨씬 정확합니다."
→ 모호. 모델이 인용해도 다룰 근거가 없음.

✅ 강한 예:
"공개 벤치마크 종합 시 하이브리드 검색(RRF)은 
recall@10 약 91%로, 의미 검색 단독(약 78%)·
BM25 단독(약 65%)을 모두 앞섭니다."
→ 수치+비교. 모델이 그대로 떠서 인용하기 좋음.

엔진마다 인용 취향이 다르다

대규모 인용 분석들(Profound·Discovered Labs 등)을 보면, 같은 질문이라도 엔진별 인용 출처는 약 90%가 다릅니다. ChatGPT와 Perplexity의 도메인 중복은 약 11%에 그쳤습니다.

한국은 별도 전선입니다. 네이버는 AI 브리핑(요약)을 통합검색 쿼리의 20% 이상에 적용 중이며, 2026년 4월 기준 AI 브리핑 인용이 월 약 3.558억 건에 달합니다. 한 표본분석(272건)에서는 인용 출처의 약 58%가 블로그였고, 인용의 약 49%는 검색 Top10 밖에서 나왔습니다. 네이버 알고리즘은 C-Rank(출처 신뢰·전문성)와 D.I.A.+(문서 의도)를 봅니다. 다만 네이버는 외부 크롤러를 차단하기 때문에, 글로벌 AI는 나무위키·위키백과·티스토리를 통해 한국 정보를 우회 수집합니다.

5. 크롤러에 막히면 위치고 내용이고 소용없다

아무리 잘 써도 AI 크롤러가 못 읽으면 후보 자체에 못 듭니다. retrieval 단계에 진입하려면 robots.txt에서 다음을 허용해야 합니다.

• OpenAI: GPTBot, OAI-SearchBot
• Anthropic: ClaudeBot, anthropic-ai
• Perplexity: PerplexityBot
• 구글: Google-Extended

6. 측정의 함정 — 한 번 재서 'middle에 묻혔다'고 단정하지 말 것

여기서 david로서 한 가지 경고를 박아두겠습니다. AI 가시성은 비결정적입니다. temperature=0에서도 GPU 연산·배치 차이로 결과가 흔들립니다. 한 분석에서는 2,350억 파라미터 모델을 같은 입력으로 1,000회 돌렸더니 80가지 출력이 나왔습니다. 인용 측정 역시 멱법칙으로 출렁이며(arXiv:2603.08924), 단일 측정은 사실상 노이즈입니다. 다중 실행 + 부트스트랩 신뢰구간이 정석입니다.

그래서 "우리 글이 안 떠요"의 원인이 정말 'Lost in the Middle'(위치 함몰)인지, 단순 측정 노이즈인지, 크롤러 차단인지, 콘텐츠 근거 부족인지는 반복 측정과 분해 없이는 알 수 없습니다. 프롬프트 검색량 같은 지표도 실측이 아니라 패널(시장 1% 미만) 모델링 추정치라, Conductor의 말처럼 "신뢰할 수 없는 데이터는 없는 것보다 나쁩니다".

Citeon은 이 원리를 제품에 담았다

'Lost in the Middle'의 교훈은 두 가지 질문으로 압축됩니다 — (1) 내 핵심이 정말 답변에 반영되고 있나? (2) 안 된다면 어느 단계에서 막혔나? Citeon은 이걸 추측이 아니라 측정으로 답합니다.

• 4엔진 인용 측정(SOV) — ChatGPT·Gemini·Perplexity·Claude에서 당신 브랜드가 실제로 인용되는 비율을 잽니다. 엔진마다 인용 출처가 90% 다르다는 사실을, 합산이 아니라 엔진별로 분리해 봅니다. "중간에 묻혔는지"를 한 번이 아니라 추이로 확인합니다.
• 사이트 진단엔진 — URL을 넣으면 SEO·AEO·GEO 점수(0~100)와 한국어 처방을 줍니다. 첫 문장이 답변형인지, 청크가 자족적인지, 크롤러가 허용됐는지 같은 이 글의 원칙들을 점검 항목으로 환원해 짚습니다.
• 경쟁사 역추적 — 같은 질문에서 경쟁사가 왜 인용되는지를 역설계해, 그들이 앞·끝에 둔 직답과 근거 패턴을 드러냅니다.
• 주간 모니터 추이 — 단일 측정의 노이즈를 시간축으로 눌러, 진짜 개선인지 출렁임인지 가립니다.

지금 내 사이트가 AI 답변의 '앞·끝'에 서 있는지, 아니면 함몰된 중앙에 묻혀 있는지 — 무료 진단(₩0)으로 먼저 확인하세요. citeon.cloud에서 무료 AI 가시성 진단 받기.

자주 묻는 질문 (FAQ)

참고자료

• Liu et al. (2023), Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172)
• Lewis et al. (2020), Retrieval-Augmented Generation (arXiv:2005.11401)
• Karpukhin et al. (2020), Dense Passage Retrieval (arXiv:2004.04906)
• Aggarwal et al. (2023), GEO: Generative Engine Optimization (arXiv:2311.09735, KDD 2024)
• Anthropic (2024), Introducing Contextual Retrieval
• Conductor, Debunking AI Prompt Volume