엔비디아 Flare는 일부 GPU에서 로컬 추론을 제공한다

엔비디아 Flare는 SM120·SM121 시스템용 로컬 추론(inference) 서버입니다. 긴 대화와 코딩 에이전트, 반복적인 도구 사용을 겨냥합니다. 워크스테이션이나 DGX Spark에서도 지원 모델과 준비 용량이 맞아야 쓸 수 있습니다. 저는 로컬에서 돌릴 수 있다는 반가움보다 GPU와 모델에 걸린 조건이 먼저 눈에 들어왔습니다.

구글 ML Drift도 여러 GPU의 온디바이스 추론을 지원해, 기기 안에서 모델을 돌리려는 도구가 늘어나는 흐름과 맞닿아 있습니다. 다만 Flare는 SM120·SM121과 제한된 모델 준비 범위에 초점을 두므로, 로컬이라는 공통점만으로 두 도구를 같은 선택지로 볼 수는 없습니다.

범용 추론 엔진이 여러 모델과 하드웨어를 폭넓게 지원하는 방식과 달리, Flare는 일부 GPU와 모델에 집중해 긴 대화와 반복 도구 사용을 겨냥합니다. 모델 준비를 서비스 시작 전에 마치고, 이후 Helios 실행 환경이 준비된 패키지를 서비스한다는 구성도 흥미롭습니다.

조건은 GPU와 모델 두 군데에 걸립니다. SM120·SM121이 아닌 시스템은 대상이 아니고, 지원 레시피와 준비된 용량이 맞지 않으면 원하는 모델을 실행하지 못할 수 있습니다. 이미 보유한 장비와 실제로 쓸 모델의 조합이 Flare의 범위 안에 드는지가 도입 여부를 가릅니다. Rust 기반이라는 사실은 성능 보증이 아니며, vLLM도 CUDA 그래프(CUDA graph)를 쓰므로 실제 모델과 작업에서 둘을 비교해야 합니다.

먼저 자신의 GPU가 SM120·SM121인지, 쓰려는 모델이 지원 목록과 준비 용량에 맞는지 확인하십시오. 조건이 맞으면 같은 모델과 긴 대화·도구 반복 작업으로 Flare와 vLLM을 나란히 시험하고 응답 시간과 메모리 사용량을 비교하십시오.

로컬 추론 도구를 고를 때, 먼저 GPU 호환성을 확인하십니까, 아니면 쓸 모델과 작업부터 정하십니까?