Vosti는 실행 조건이 달라져도 같은 입력에서 비트 단위로 동일한 로짓을 내도록 설계하고 검증한 LLM 추론 엔진이다. 논문은 기존의 vLLM 배치 불변 모드와 SGLang 결정적 모드도 일부 실행 방식에서 로짓이 달라질 수 있다고 보고한다.

연구진은 모델과 배포 설정을 고정했을 때, 같은 프롬프트와 초기 샘플러 상태를 가진 요청이 실행마다 각 출력 위치에서 비트 단위로 동일한 로짓을 생성하는 것을 결정적 추론으로 정의했다. 배치 구성, 프롬프트 분할, 프리필·디코드 실행 방식, KV 캐시 재사용·퇴거·재계산이 달라져도 출력이 달라지지 않아야 한다는 조건이다.

Vosti는 실행 시점의 엔진 상태와 무관하게 커널을 선택하고, 캐시된 KV 값을 논리적 토큰 접두부에 연결한다. 검증은 엔진과 GPU 커널의 경계에서 나뉜다. Verus 귀납 증명은 스케줄링과 페이지형 접두부 공유 KV 캐시가 출력 로짓을 보존함을 다루고, Triton 분석기는 선택된 커널 출력이 배치, 쿼리 길이, 페이지형 KV 캐시 레이아웃에 따라 비트 단위로 같은지 확인한다.

논문에 따르면 Vosti는 시험한 모든 실행 변형에서 비트 단위로 동일한 로짓을 냈으며, 디코드 비중이 큰 워크로드에서 vLLM의 배치 불변 모드와 비슷한 성능을 보였다. 이는 논문이 보고한 시험 결과이며, 모든 모델과 배포 환경에서의 결과를 뜻하지는 않는다.

논문은 2026년 9월 30일 제출됐다. 논문 초록 · PDF · HTML · TeX 소스 · DOI (DataCite 등록 대기)