쿠버네티스 기반 오픈소스 추론 프레임워크 llm-d가 1.0 버전에서 여러 사용자의 요청 우선순위 제어, 고가용성 라우팅, 안정화된 설정 API를 추가했다. 운영팀은 이를 통해 서비스 업데이트 중단을 줄이고, 지연에 민감한 요청과 급증하는 에이전트 작업을 함께 처리할 수 있다.

Cloud Native Computing Foundation(CNCF) 프로젝트인 llm-d는 vLLM과 SGLang 같은 모델 서빙 엔진을 쿠버네티스 환경에서 운영하기 위한 인프라다. 기존 기능에는 프리픽스 캐시와 부하를 고려한 라우팅, 키-값 캐시 오프로드, 프리필과 디코딩의 분리, 여러 노드에 걸친 전문가 병렬화가 포함된다. 레드햇은 2025년 프로젝트 출범을 지원했다.

1.0 버전은 멀티테넌트 서비스 품질 제어, 라우터 대기 구성과 롤링 업데이트를 포함한 고가용성 운영, 안정화된 v1 설정 API, 에이전트 세션을 고려한 서빙 기능을 더했다. 에이전트 요청의 세션과 턴 우선순위를 반영하고 Responses API 상태를 지원해 대화 맥락을 재사용하도록 돕는다. 프리필과 디코딩을 분리해 운영하는 경우에는 DisaggregatedSet이 두 처리 풀을 하나의 단위로 관리해 함께 업데이트하면서도 각 풀을 독립적으로 확장할 수 있다.

구글 클라우드의 수석 소프트웨어 엔지니어 압둘라 가라이브(Abdullah Gharaibeh)는 1,000개의 샌드박스 에이전트가 공유 추론 서비스에 요청을 보내는 시연을 진행했다. 구글 클라우드 TPU와 GPU를 혼합해 vLLM과 SGLang을 운영한 이 시연에서 기본 쿠버네티스 구성은 초당 약 900~930토큰과 약 30%의 캐시 적중률을 보였다. llm-d 라우팅을 켠 뒤 캐시 적중률은 75%로 올라갔고, 처리량은 대략 두 배가 됐으며 지연 시간은 절반으로 줄었다고 가라이브는 설명했다. 추가 하드웨어가 아니라 캐시된 맥락을 고려한 라우팅으로 얻은 결과라는 설명이다.

시연에서는 우선순위 제어를 켜지 않으면 유료 등급 사용자와 무료 등급 사용자가 같은 대기열에서 기다렸다. 제어를 활성화한 뒤에는 높은 우선순위 요청의 대기 시간이 짧아지고, 낮은 우선순위 요청도 계속 처리됐다. 이는 대화형 서비스와 백그라운드 에이전트 작업을 함께 지원하는 운영자가 남은 용량을 활용하면서도 우선순위별 응답 목표를 적용하는 데 쓰일 수 있다.

Mistral의 추론 엔지니어들은 구글 클라우드 발표에서 llm-d의 캐시 인식 라우팅, 흐름 제어, 분리형 서빙을 자사 상용 요금제의 우선순위 구간 적용에 활용한다고 밝혔다. 용량이 포화되면 유료 고객의 지연 목표를 지키기 위해 낮은 우선순위 요청을 대기시키거나 처리하지 않을 수 있다는 설명이다.

llm-d는 이미 프로덕션에서 사용되고 있다. DigitalOcean은 Serverless Inference와 Managed Agents 서비스의 기반으로 이를 사용해 수조 토큰을 처리한다고 밝혔다. JetBrains도 Junie Lite 코딩 에이전트 요금제에서 운영하며 트래픽의 상당 부분을 처리한다고 전했다. 구글은 Google Kubernetes Engine(GKE)과 llm-d를 통합하고 있으며, GKE Inference Gateway를 통한 관리형 라우팅과 공통 엔드포인트 뒤의 TPU·GPU 풀 지원을 계획하고 있다.

프로젝트 관계사들은 토큰당 비용이 동등한 상용 API 가격보다 추정치 기준 5~10배 낮을 수 있다고 주장한다. 실제 비용 절감 폭은 환경에 따라 달라질 수 있으며, 이 수치는 업체 측 추정이다.