엔비디아가 텍스트·이미지·문서·동영상을 이해하고 추론과 도구 사용을 함께 수행하는 개방형 모델 Nemotron 3.5 Super VL을 공개했다. 기업은 자체 데이터와 정책에 맞춰 모델을 추가 학습해 여러 단계의 업무를 처리하는 에이전트에 활용할 수 있다.
이 모델은 총 1,200억 개 매개변수를 갖춘 전문가 혼합(MoE) 구조로, 토큰당 120억 개 매개변수를 활성화한다. 엔비디아는 단일 GPU에서 같은 규모의 다른 개방형 모델보다 에이전트 작업 처리량이 최대 5배 높다고 밝혔다. 다만 이는 엔비디아가 제시한 비교 결과다.
엔비디아는 고객사의 적용 사례도 소개했다. Scale AI는 Skydance Corporation의 공급업체 신용 처리 업무에 모델을 추가 학습해 추론 비용을 40분의 1로, 지연 시간을 5분의 1로 줄일 것이라고 밝혔다. Ramp는 영수증 이미지를 구조화된 JSON으로 변환하는 작업에서 처리량을 최대 50% 높이고 지연 시간을 10분의 1로 낮출 것으로 예상한다. AI21은 Alice의 위협 정보와 취약점 분석에 적용해 정확도를 40% 개선했다고 밝혔다.
모델은 차트·표·다중 페이지 문서와 동영상도 다룬다. CharXiv 차트 추론 벤치마크에서 80.8%를 기록했고, Python 코드 해석을 함께 사용했을 때는 84%를 기록했다. 엔비디아는 앞선 모델 Nemotron 3 Nano Omni의 점수로 63%를 제시했다. Hermes Bench에서는 Nemotron 3.5 Super VL이 63.44%, Nemotron 3 Ultra가 56.33%를 기록했으며, LangChain 평가에서는 각각 87.05%와 84.3%를 기록했다.
개발자는 NVIDIA NeMo의 지도 미세 조정과 저랭크 적응, 강화 학습 도구를 사용해 자체 데이터·도구·정책에 맞게 모델을 조정할 수 있다. 엔비디아는 학습 데이터와 체크포인트, 강화 학습 환경도 공개한다고 밝혔다. 모델은 지원되는 로컬 환경과 데이터센터, 클라우드에서 배포할 수 있으며, 배포 자료는 Hugging Face, ModelScope, 사용 안내서에서 확인할 수 있다.
추론 효율을 높이기 위해 모델은 LiLiCorr 투기적 디코딩, NVFP4 양자화, 여러 토큰 예측과 문맥 재사용을 적용한다. 엔비디아에 따르면 DGX Spark에서 LiLiCorr은 투기적 디코딩을 사용하지 않을 때보다 토큰 생성 속도를 최대 2.3배 높인다. NVIDIA Dynamo를 사용한 배포 결과로는 B200 GPU 16개에서 사용자당 초당 50토큰을 제공할 때, 키-값 캐시 인식 라우팅과 캐시 오프로드를 적용하면 첫 토큰 지연 시간을 85% 줄이면서 최대 8배 많은 사용자를 처리할 수 있다고 제시했다. 이 수치는 해당 하드웨어와 설정에 따른 결과다.
모델 세부 사항은 기술 보고서에서, 배포용 NIM 컨테이너는 NVIDIA NIM 카탈로그에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요