프리필 조절기가 Qwen3-0.6B의 토큰 지연을 줄였다

arXiv 연구는 기존 요청의 생성을 지키려 새 긴 프롬프트를 나눠 처리하는 방식을 제안했습니다. vLLM에서 Qwen3-0.6B와 NVIDIA A100 80GB GPU 한 대로 시험했습니다. 토큰 간 지연시간의 99백분위수(P99)가 평균 27.7% 줄었습니다. 저는 향상 폭보다 이 효과가 작은 모델 한 종류와 GPU 한 대에 묶였다는 점이 더 오래 남습니다.

같은 모델·GPU·부하에서도 vLLM 설정에 따라 처리량과 상호작용성이 달라졌다는 aistack 사례와 이어집니다. 이번 연구는 긴 프리필이 생성 중인 요청과 겹치는 순간에 조절을 더해, 한 모델·GPU 조건에서 토큰 간 지연을 낮췄습니다. 두 사례 모두 실제 부하와 설정이 성능을 바꾼다는 점을 보여 주지만, 이번 결과는 다른 모델이나 다중 GPU로 이어지지 않았습니다.

반가운 점은 모든 프리필(prefill)을 일괄 제한하는 대신, 기존 생성과 겹치는 프리필만 조절한다는 것입니다. 토큰 간 간격을 바탕으로 다음 프리필 청크(chunk) 크기를 바꾸고, 단독으로 진행되는 프리필은 건드리지 않습니다. 생성이 바쁜 순간에만 작업량을 조정하는 설계가 실용적으로 느껴집니다.

시험은 요청 100건씩 세 차례 진행됐습니다. 조건은 Qwen3-0.6B와 NVIDIA A100 80GB GPU 한 대였습니다. 다른 모델과 2개 GPU 구성에서는 효과가 일반화되지 않았습니다. 토큰 간 P99는 평균 27.7% 줄었지만 새 요청의 첫 토큰까지 걸리는 P99는 34.8% 늘었습니다. 첫 토큰 지연은 서비스 수준 목표(service-level objective, SLO) 안에 머물렀습니다. 이 방식의 이득은 기존 요청에서, 비용은 새 요청의 첫 응답에서 나타납니다.

논문 구현을 시험할 수 있다면, 긴 프롬프트가 기존 생성 요청과 겹치도록 같은 요청 묶음을 적용 전후에 돌려 보십시오. 토큰 간 P99와 새 요청의 첫 토큰 P99를 함께 재고, 첫 지표가 낮아져도 두 번째 지표가 SLO 여유를 얼마나 줄이는지 확인하십시오.

긴 프롬프트와 생성 요청이 겹칠 때, 귀하의 서비스는 토큰 간 지연과 첫 토큰 대기 중 무엇을 먼저 확인하십니까?