벨기에 스타트업 Corbenic AI의 Galahad는 모델이 읽은 문서의 키-값(KV) 캐시를 암호화해 서버의 NVMe 드라이브에 저장하고, GPU 메모리가 비워지거나 서버가 재시작된 뒤 같은 입력이 들어오면 다시 불러오는 베타 제품이다. 일반적인 NVMe SSD 외에 특별한 하드웨어는 필요하지 않다고 회사는 설명하지만, 논문에 나온 최대 14배 속도 향상은 캐시를 불러오는 것보다 필요한 텍스트만 모델에 전달하는 별도 구성요소의 기여가 크다.

Galahad는 2026년 10월 1일 베타에 들어갔다. Galahad의 KV 구성요소인 Taliesin은 입력 바이트, 모델, 테넌트의 지문을 기준으로 텍스트 블록의 상태를 저장한다. 기록 검증에 실패하면 저장된 상태를 쓰지 않고 다시 계산하는 ‘실패 시 차단(fail-closed)’ 방식을 적용한다. 짧은 텍스트는 재계산이 빠르므로 저장하지 않으며, 네트워크 스토리지는 로컬 NVMe보다 훨씬 느리다는 한계도 있다.

창업자 겸 CEO 시에체 스헬페(Sietse Schelpe)는 GPU 메모리가 비워지거나 서버가 재시작된 뒤에만 저장본을 불러온다고 설명했다. 따라서 비교 대상은 SSD와 RAM 중 하나가 아니라, SSD에서 상태를 읽는 것과 GPU에서 전부 다시 계산하는 것이다. 회사에 따르면 필요한 장비는 Linux, Nvidia GPU, 일반 NVMe SSD다. H100 테스트에서는 RAM 디스크와 로컬 디스크의 처리량이 거의 같았다고 논문은 밝혔다. 스헬페는 엔터프라이즈 SSD의 성능은 측정하지 않아 수치를 제시하지 않겠다고 했다.

논문의 14배 수치는 96,726토큰 목록에 숨겨 둔 사실 100개를 찾는 테스트에서 나왔다. Gemma 4 31B를 사용했고, Taliesin과 함께 Blaise도 적용했다. Blaise는 문서를 텍스트로 보관한 뒤 질문에 필요한 부분만 모델에 전달하는 구성요소다. 이 테스트에서는 전체 문서 대신 약 668토큰을 전달했다. 논문은 llama.cpp에서 성능 향상의 상당 부분이 Blaise에서 나왔다고 설명하며, Blaise를 더했을 때 향상 폭이 3.1배에서 14.5배로 커졌다고 밝혔다.

Taliesin만 사용한 결과는 실행 환경에 따라 달랐다. vLLM은 질문당 15.56초로 기준선 8.11초보다 느렸고, SGLang도 22.02초로 기준선 10.29초보다 느렸다. llama.cpp만 9.25초에서 3.01초로 빨라졌다. 다만 비교 조건은 대칭적이지 않았다. 기준선은 12,000토큰 창으로 문서의 마지막 12%만 살펴보고 100개 질문 중 10개에 답했지만, Taliesin은 전체 문서를 대상으로 해 98개에 답했다.

Galahad가 내세우는 차별점은 캐시의 정확성과 보안이다. 논문은 출력 로짓이 비트 단위로 동일한지를 확인하고, 불일치하면 캐시를 사용하지 않는다고 설명한다. 저장 상태는 암호화하고 고객별로 분리하며, 서버에 저장된 메모리를 이전 시점으로 되돌릴 수 있도록 활동 기록도 남길 수 있다는 것이 회사의 발표다. 테넌트 식별자와 모델 지문이 없으면 라이브러리가 시작되지 않으며, 회사는 데이터를 외부로 보내지 않고 공유 캐시 네트워크도 운영하지 않는다고 밝혔다.

다만 KV 캐시를 저장장치에 보존하는 방식 자체는 새롭지 않다. 오픈소스 프로젝트 LMCache는 CPU 메모리와 로컬 SSD, 원격 저장소를 활용하며, Nvidia Dynamo와 CMX, WEKA의 Augmented Memory Grid, Phison의 aiDAPTIV+ 등도 비슷한 용도를 겨냥한다. Galahad의 정확성 기준은 캐시 재사용 방식에 따라 차이가 있지만, 논문은 LMCache와 Mooncake를 직접 언급한다.

결과를 독립적으로 확인하기에는 자료가 부족하다. Galahad 논문의 실험은 스헬페가 대여한 클라우드 GPU에서 직접 수행했으며, 원시 로그는 아직 공개되지 않았다. Blaise의 선택 방식도 특허 출원 전까지 공개되지 않는다. 논문은 동료 심사를 거친 연구가 아닌 arXiv 사전 공개 자료다. 따라서 현재 제시된 수치는 독립적인 검증 결과로 보기는 어렵고, 특히 14배 향상은 캐시 저장만의 효과가 아니라 필요한 텍스트를 줄여 전달한 결과와 함께 해석해야 한다.