KV 캐시 압축 모델은 위치에 따라 검색 정확도가 최대 40%p 달랐다

정보가 놓인 위치에 따라 검색 정확도가 최대 40%포인트 달랐습니다. 연구진은 9월 28일 arXiv에 논문을 제출했습니다. 논문에서는 연속 토큰을 묶어 키-값 캐시(KV-cache)를 압축한 대형 오픈 웨이트(open-weight) 모델을 살폈습니다. 저는 평균 점수보다 이 간격이 더 오래 남습니다. 압축 구간 안에서 정보가 놓인 자리만 달라도 검색 결과가 이렇게 벌어질 수 있기 때문입니다.

맥북의 LLM 메모리 압축을 다룬 vramkit 기사는 int8 KV가 약 2배 작아졌다고 전했습니다. 퍼플렉시티(perplexity)는 0.02% 늘었습니다. 이번 연구는 메모리와 평균 품질 비교에 압축 구간 위치별 검색 정확도라는 평가 축을 더합니다.

압축 모델의 평균 정확도만 보면 위치별 취약점이 가려질 수 있습니다. 이번 연구는 압축 경계를 기준으로 한 상대 위치, 곧 위상(phase)마다 검색 정확도를 따로 살폈습니다. 평균 점수에 묻히던 약한 구간을 평가 대상으로 끌어낸 점은 반갑습니다.

다만 40%포인트는 대형 오픈 웨이트 모델에서 관찰된 최대 차이지, 모든 모델에서 늘 나타나는 폭은 아닙니다. 연구진은 여러 압축 설계를 적용한 트랜스포머(transformer)를 처음부터 사전학습해 현상을 재현했습니다. 이 결과만으로 이미 쓰는 모델의 실제 질문에서도 같은 차이가 난다고 단정할 수 없습니다. 압축 방식을 고를 때는 자기 모델에서 위치별 성능을 확인해야 합니다.

압축 모델을 평가할 수 있다면 같은 정보를 압축 구간의 시작·가운데·끝에 놓고 같은 질문으로 찾아보십시오. 위치마다 정답률을 따로 기록했을 때 차이가 크다면, 평균 점수만으로는 취약 구간을 놓치고 있다는 뜻입니다.

압축 모델을 비교할 때 평균 정확도와 위치별 차이 가운데 무엇부터 확인하시겠습니까?