UlaCache는 희소 LLM 추론 처리량을 최대 2.51배 높였다고 보고했다

UlaCache는 GPU와 선택적 CPU 메모리에서 대규모 언어 모델(LLM)의 KV 캐시를 관리합니다. 논문은 추측 디코딩을 켜고 CPU·GPU 메모리 예산을 기준선과 같게 맞췄습니다. 그 조건에서 기존 최고 성능 기준선보다 처리량이 최대 2.51배 높았다고 보고합니다. 저는 최대치 자체보다 메모리 예산을 맞춰 비교했다는 점이 눈에 들어왔습니다. 같은 자원에서 속도가 얼마나 달라졌는지가 실제 선택에 더 직접적인 정보이기 때문입니다.

추측 디코딩의 이득이 반복 출력이나 대상 모델 크기에 따라 달라진 RTX 3090 실험과 이어집니다. UlaCache도 추측 디코딩을 켜고 처리량을 쟀습니다. 캐시 관리 효과를 살피려면 디코딩 설정도 함께 맞춰야 합니다.

캐시 항목의 물리적 위치와 무관하게 참조를 유지하고, 여러 디코딩 단계 동안 선택된 KV를 GPU 버퍼에 보관합니다. 분산 저장 환경에서는 이미 있는 항목을 다시 옮기지 않고, 없는 항목만 전송합니다. 메모리 위치가 달라질 때마다 캐시를 새로 찾는 부담을 줄이려는 점이 반갑습니다.

다만 최대 2.51배는 B300의 텐서 병렬(TP) 설정에서 나온 값이며, H200의 데이터 병렬(DP)은 1.16배입니다. 기기와 병렬 방식에 따라 차이가 큽니다. 실험은 추측 디코딩을 켜고 CPU·GPU 메모리 예산을 기준선과 같게 맞췄습니다. 추측 디코딩을 쓰지 않거나 메모리 구성이 다르면, 같은 향상을 기대하기 어렵습니다.

CPU 캐시를 쓰는 추론 작업 하나를 골라 기준선과 UlaCache를 비교하십시오. 메모리 예산과 요청을 맞추고, 추측 디코딩 여부·GPU 모델·병렬 방식도 기록하십시오. 설정별 처리량 차이를 보면, 2.51배 향상이 내 작업에도 나타나는지 알 수 있습니다.

GPU 메모리가 부족해 추론 설정을 바꿨을 때, 무엇을 먼저 조정하셨습니까?