GAAC가 LLM의 KV 캐시를 손실 없이 압축한다

GAAC는 대형 언어 모델(LLM)의 키-값(KV) 캐시를 원래 값 그대로 압축합니다. 논문 저자들은 개인 기기에서 긴 문맥을 처리할 때 메모리 부담을 줄였다고 보고합니다. NVIDIA DGX Spark와 Apple M4에서는 계산 속도도 높아졌습니다. 저는 특히 메모리를 아끼면서도 값이 비트 단위로 같다는 점이 오래 눈에 남습니다. 계산에 쓰는 값 자체를 바꾸지 않으려는 설계가 먼저 보입니다.

긴 추론의 KV 캐시를 줄이는 AbridgeKV와 같은 문제를 다루지만, 접근은 다릅니다. AbridgeKV는 학습된 일시정지 토큰을 활용하고, GAAC는 저장된 값을 비트 단위로 그대로 보존합니다.

좋은 점은 압축한 캐시를 계산에 쓸 때 전체를 미리 풀지 않는다는 것입니다. GAAC는 어텐션(attention)에서 필요한 부분만 복원하고, 시험한 다섯 모델의 BF16 KV 캐시는 1.405~1.407배 압축됐습니다. 캐시를 줄이는 일이 저장 단계에만 머물지 않고 실제 계산 과정에 이어진다는 점이 반갑습니다.

이득은 캐시 형식과 측정 범위에 따라 다릅니다. BF16은 1.405~1.407배 압축됐지만, FP8 E4M3는 1.09~1.14배이고 E5M2는 1.25~1.30배였습니다. DGX Spark의 64K 문맥에서 어텐션은 1.19~1.27배 빨랐지만, W4A16 디코드 전체는 1.04~1.15배 향상에 그쳤습니다. 서빙의 13~29% 처리량 증가는 비슷한 KV 메모리 예산을 둔 시험 결과이며, 속도 시험은 DGX Spark와 Apple M4에 한정됩니다.

먼저 사용하려는 모델의 캐시 형식과 긴 문맥 길이를 확인하십시오. 같은 기기에서 요청 길이와 동시 요청 수를 맞춰 기존 방식과 GAAC를 비교하고, 상주 KV 메모리와 전체 디코드 처리량을 함께 재십시오. 메모리만 줄고 처리량이 그대로라면 이득은 저장 공간에 머문 셈입니다.

긴 문맥을 다룰 때 메모리와 응답 속도 중 무엇을 먼저 확인하십니까?