엔비디아가 추론과 장문 이해, 에이전트 작업을 겨냥한 오픈 모델 Nemotron 3.5 Super와 Nemotron 3.5 Lightning을 공개했다. Super는 총 1,200억 개·토큰당 활성 120억 개 파라미터를 가진 멀티모달 모델이고, Lightning은 총 300억 개·활성 30억 개 파라미터를 가진 텍스트 모델이다. 두 모델은 최대 100만 토큰의 문맥 길이를 지원하도록 학습됐다.
두 모델은 일부 파라미터만 토큰 처리에 사용하는 전문가 혼합(Mixture-of-Experts) 하이브리드 Mamba-Transformer 구조를 쓴다. 엔비디아는 BF16·NVFP4 체크포인트와 추론 설정, 별도 추측 디코딩 초안 모델도 함께 공개했다. Super는 텍스트·이미지·영상과 도구 사용을 지원하며, 추론을 끄거나 일반·중간 강도로 설정하고 추론 예산을 조절할 수 있다.
학습 과정에서 두 모델은 1,000억 토큰의 MTP 준비 단계를 거친 뒤, 더 큰 Nemotron 3 모델에서 1조 토큰을 증류했다. Lightning은 이어 210억 토큰의 장문 학습을 거쳤다. Super에는 인도 22개 언어와 34개 언어·문자 조합을 포함한 1,000억 토큰 학습, 350억 토큰의 장문 학습, 256K 문맥 길이에서 654억 토큰을 사용한 소프트웨어 엔지니어링 학습이 추가됐다. 이 과정에서 낮아진 RULER-1M 점수는 10억 토큰 문맥 길이에서 수행한 90억 토큰 회복 학습을 통해 33.5에서 81.0으로 올랐다고 엔비디아는 밝혔다.
엔비디아가 제시한 평가 결과에 따르면 Super는 SWE-bench Pro에서 51.78%를 기록해 Nemotron 3 Ultra를 앞섰으며, 활성 파라미터 수는 약 4.6배 적었다. NVFP4 체크포인트는 36개 벤치마크에서 BF16 대비 중앙값 정확도 회복률 99.62%를 기록했다. 단일 NVIDIA GB200 GPU에서 출력 속도는 초당 최대 4,856토큰이었고, 평가한 20턴 에이전트 작업에서는 사용자당 초당 50토큰 이상을 유지했다. 이 수치는 엔비디아가 제시한 평가 조건에 따른 결과다.
엔비디아는 BF16·NVFP4 기본 및 후처리 체크포인트와 데이터셋, 모델 카드, 사용·평가·학습 자료를 공개했다. 지원 GPU와 설정, 성능 측정 방법을 포함한 자세한 내용은 기술 보고서에서 확인할 수 있다.
- Nemotron 3.5 Super VL 120B-A12B Base BF16 — 기본 모델
- Nemotron 3.5 Super VL 120B-A12B BF16 — 후처리 모델
- Nemotron 3.5 Super VL 120B-A12B NVFP4 — 후처리 및 NVFP4 양자화 모델
- Nemotron 3.5 Super VL 120B-A12B NVFP4 LiLiCorr — 독립형 LiLiCorr 초안 모델
- Nemotron 3.5 Lightning 30B-A3B Base BF16 — 기본 모델
- Nemotron 3.5 Lightning 30B-A3B BF16 — 후처리 모델
- Nemotron 3.5 Lightning 30B-A3B NVFP4 — 후처리 및 NVFP4 양자화 모델
- Nemotron 3.5 Lightning 30B-A3B NVFP4 DFlash — 독립형 DFlash 초안 모델
- Nemotron 3.5 Lightning 30B-A3B NVFP4 DSpark — 독립형 DSpark 초안 모델
관련 학습·평가 자료는 Nemotron-Pretraining-Indic-v1 및 데이터셋 안내, Super 평가 재현 절차, Lightning 평가 재현 절차에서 볼 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요