llm-d 1.0, 추론 운영 기능과 구성요소 버전 정렬

llm-d가 추론 운영 기능을 묶은 v1.0.0을 공개했습니다. 여러 사용자가 함께 쓰는 환경의 요청 제어와 중단 없는 업데이트, 에이전트의 대화 맥락 재사용을 내세웠습니다. 릴리스 목표로 추적한 항목을 모두 끝내지는 못했습니다. 새 기능뿐 아니라 남은 목표도 함께 드러난 점이 제 눈에 들어왔습니다. 운영팀은 무엇을 적용할 수 있는지와 아직 남은 일이 무엇인지 함께 알아야 하기 때문입니다.

llm-d 1.0의 우선순위 제어와 처리량 시연을 다룬 소식은 성능 개선에 초점을 뒀습니다. 이번 릴리스는 순차 업데이트와 대화 맥락 재사용을 더했습니다. 실제 적용 조건까지 공개해 논의를 운영 단계로 옮깁니다.

요청을 우선순위와 공정성에 따라 조절하고, 부하가 몰릴 때 제한합니다. 대기 라우터를 두어 고가용성(high availability) 운영도 지원합니다. 여러 차례 이어지는 에이전트 요청은 캐시(cache)에 남은 대화 맥락을 재사용합니다. 요청을 받는 데 그치지 않고, 운영 중 조절하고 업데이트하며 대화를 이어갈 기능이 한 버전에 모였습니다.

프리필·디코드 분리 가이드를 적용하려면 LeaderWorkerSet v0.11.1 이상과 DisaggregatedSet API 활성화가 필요하며, 조건을 충족하지 않으면 대부분의 관련 가이드가 작동하지 않을 수 있습니다. ROCm 환경에서는 자체 이미지 빌드가 단계적으로 폐지되며, 대상은 ghcr.io/llm-d/llm-d-rocm 이미지입니다. 이번 릴리스는 ROCm 프리필·디코드 분리 지원을 위해 ghcr.io/llm-d/vllm-openai-rocm:v0.32.0-rc.2를 임시로 보관하고, 장기적으로는 상류 vLLM 이미지를 사용할 계획입니다.

적용하려는 프리필·디코드 분리 가이드를 하나 고른 뒤, 테스트 매트릭스의 지원 조합과 클러스터의 LeaderWorkerSet 버전·DisaggregatedSet API 활성화 여부를 함께 대조하십시오. ROCm 환경이라면 쓰려는 이미지가 폐지 대상인지 확인한 다음 가이드 절차를 끝까지 시험해 보십시오. 이 조건을 갖춰도 절차가 멈춘다면 업그레이드 전에 손볼 지점이 드러납니다.

운영 중이라면 순차 업데이트와 대화 맥락 재사용 가운데 무엇을 먼저 시험하시겠습니까?