Imp가 RTX 50용 LLM 서버를 공개했다

Imp는 RTX 50 또는 RTX PRO 카드 한 장에서 대형 언어 모델을 실행하는 서버입니다. 제작자는 모든 코드를 Claude Code가 작성했다고 밝혔습니다. 서버와 채팅 화면, 앱 연결까지 한 장의 그래픽카드에 얹었다는 점이 눈에 들어옵니다. 로컬에서 모델을 돌리는 일이 개발자만의 실험에서 실제 도구로 가까워지는 모습입니다.

개인용 로컬 모델을 평가한 시험에서는 Qwen3.8-27B를 대체할 후보가 나오지 않았습니다. Imp는 이 모델을 RTX 5090에서 더 빠르게 제공하는 서버를 내놨습니다. 속도 향상이 개인용 작업의 답변 품질까지 높이는지는 별도로 확인해야 합니다.

반가운 점은 속도 차이가 숫자로 드러났다는 것입니다. RTX 5090에서 Qwen3.8-27B를 한 명이 쓸 때 Imp는 초당 96.3토큰을 처리했고, vLLM은 69.9토큰을 처리했습니다. 32명이 함께 요청했을 때도 Imp의 총 처리량은 초당 1,979.1토큰으로, vLLM의 1,414.2토큰보다 높았습니다.

이 수치는 짧은 프롬프트에서 300토큰을 생성한 시험의 중앙값이며, 두 서버는 같은 NVFP4 체크포인트를 썼습니다. 시험은 RTX 5090 한 장에서만 이뤄졌고, 고부하 Qwen3-14B에서는 32명 동시 요청 때 vLLM이 7.6% 앞섰습니다. 그러니 내 카드와 내 모델에서도 같은 차이가 난다고 기대하기는 어렵습니다.

RTX 50 또는 RTX PRO 카드가 있고 Docker 환경을 갖췄다면, 빠른 시작 안내에 맞춰 원하는 모델을 띄워 보십시오. 같은 프롬프트와 생성 길이로 처리 속도를 비교해 보십시오. 결과가 기대와 다르면 카드와 모델 조건을 먼저 확인하고, 공개된 벤치마크 문서의 시험 조건과 로그도 대조해 보십시오.

직접 로컬 모델을 돌린다면, 여러 명이 함께 쓸 때의 처리량과 혼자 쓸 때의 응답 속도 가운데 무엇을 먼저 확인하시겠습니까?