TL;DR

  • 자체 문맥을 파일로 관리하는 문맥 언어 모델(CLM)은 여러 작업에서 기존 문맥 관리 전략보다 높은 성능을 보이며 연산량도 줄임.
  • CLM은 모델이 문맥 파일을 제한 없이 갱신하게 해 무엇을 문맥에 유지할지 학습하며, 여러 에이전트의 문맥을 파일로 공존시킴.
  • BrowseComp-Plus에서 정확도 11.4% 상승, 연산량 21.5% 감소, 12시간 EdgeBench에서 점수 5% 상승, 연산량 59% 감소를 기록함.
  • 자연어 지시를 최적화해 문맥 관리 작업의 홀드아웃 정확도를 최대 35.9점 높이고, 온라인 강화 학습으로 Qwen3.5-9B의 BrowseComp-Plus 성능을 47.6% 높이면서 연산량을 12% 줄임.
  • Suffix Cache Reuse를 CLM 서빙에 맞게 설계해 성능을 유지하면서 표준 SGLang 대비 서버 연산량을 35% 추가로 줄임.

논문 개요

  • Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh가 Context Language Models를 발표함.
  • 논문 식별자는 arXiv:2609.37725이며, 2026년 9월 29일 제출됨. 분야는 인공지능, 계산 및 언어, 기계 학습임.
  • 논문 링크: DOI

문맥 언어 모델

  • 문맥 언어 모델(CLM)은 자체 문맥을 기본적으로 관리하는 언어 모델임.
  • 문맥을 파일로 취급하고 모델이 해당 파일을 제한 없이 갱신하도록 구현함. 이에 따라 모델이 문맥에 무엇을 유지하는 것이 가장 중요한지 학습하며, 여러 에이전트의 문맥이 각각 파일로 공존하는 다중 에이전트 시스템으로 자연스럽게 확장됨.
  • 기존 모델을 사용해 제로샷으로 구축한 CLM은 여러 작업에서 최첨단 문맥 관리 전략을 능가함.
  • BrowseComp-Plus에서 정확도가 11.4% 높고 연산량(FLOPs)은 21.5% 적음. 12시간 EdgeBench에서는 점수가 5% 높고 연산량은 59% 적음. 24시간 다중 저장소 에이전트 군집 작업에서는 같은 연산량으로 개선 폭이 65% 더 큼.

문맥 관리 학습

  • 문맥 관리를 외부 하네스의 제어에서 모델 내부의 행동으로 옮겨, 문맥 관리 전략의 문맥 내 학습과 파라미터 학습을 모두 가능하게 함.
  • 표준 스킬 최적화 반복 과정에서 발전시킨 자연어 지시로 CLM을 조정함. 문맥 관리 작업의 홀드아웃 정확도를 최대 35.9점 높이는 동시에 연산량을 줄임.
  • 온라인 강화 학습 방법을 도입해 Qwen3.5-9B의 BrowseComp-Plus 성능을 47.6% 높이고 연산량을 12% 줄임.

서빙 최적화

  • CLM 서빙에 맞춰 Suffix Cache Reuse를 공동 설계함.
  • 같은 성능을 유지하면서 표준 SGLang 대비 서버 측 연산량을 35% 추가로 절감함.