엔비디아가 4GB급 대화형 모델 Nemotron 3.5를 공개했다

엔비디아가 대화와 여러 차례의 도구 호출을 지원하는 소형 언어 모델 Nemotron 3.5 Bolt E4B 4GB를 공개했다. 회사는 이 모델이 대화형 에이전트 벤치마크에서 이전 모델보다 평균 점수가 약 40% 높고, 비교 모델보다 출력 토큰을 최대 약 80% 적게 생성한다고 밝혔다.

이 모델은 Gemma 4 E4B를 바탕으로 엔비디아의 후속 학습을 거쳤다. 64K 컨텍스트와 35개 언어 지원을 제공하며, 복잡한 요청에는 추론 기능을 켜고 응답 속도가 중요할 때는 끌 수 있다. 엔비디아는 음성·기기 비서, 게임 속 대화형 캐릭터, 로봇과 산업용 사물인터넷 인터페이스 등을 활용 대상으로 제시했다.

성능과 측정 조건

엔비디아는 MultiChallenge, RoleMRC, BFCL-v3, IHEval, SysBench, RelyToolBench 등의 평균 점수를 기준으로 이전 모델 Nemotron 3 Nano 4B보다 약 40%, 평가한 다른 모델보다 약 10% 높은 점수를 얻었다고 설명했다. 다만 벤치마크마다 추론 모드가 달랐고, 회사도 현재 벤치마크가 실제 에이전트의 모든 역량을 포괄하지는 않는다고 밝혔다. Brevity Bench와 When2Call-MT는 기존 평가의 빈틈을 다루기 위해 마련했으며, 추후 공개할 예정이라고 덧붙였다.

출력 토큰은 추론을 켠 비교에서 최대 약 80% 적었다는 것이 엔비디아의 설명이다. 이 결과는 생성량을 줄이면 디코딩 작업과 비용을 낮추고 응답 시간을 단축할 수 있다는 주장과 함께 제시됐다. 벤치마크 평균 점수와 토큰 비교의 세부 조건은 기술 보고서에서 확인할 수 있다.

엔비디아가 공개한 추론 수치는 Q4_K_M 양자화, 배치 크기 1, llama.cpp(CUDA), AIPerf 조건에서 측정했다. 캐시된 문맥/새 입력/출력 토큰 수는 각각 Cache/ISL/OSL로 표기했다. 회사는 하드웨어와 추론 소프트웨어, 설정에 따라 결과가 달라질 수 있다고 밝혔다.

모델은 Hugging Face에서 내려받을 수 있으며, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab, NVIDIA In-Game Inferencing SDK를 통한 이용 경로도 안내됐다. 체크포인트에는 GGUF와 BF16 모델, 각 체크포인트용 DFlash 초안 모델이 포함된다. DFlash는 초안 토큰을 한 번의 순전파로 제안하고 대상 모델이 병렬로 검증하는 방식이며, 엔비디아는 Gemma-4-E4B의 기존 MTP 초안 모델보다 처리량이 최대 21% 높다고 밝혔다.

학습은 지시 이행, 여러 차례의 도구 호출, 대화 능력을 겨냥해 진행됐다. 엔비디아는 검증 가능한 보상을 이용한 강화학습(RLVR)과 사람 피드백 기반 강화학습(RLHF)에 NeMo-RL과 NeMo-Gym을 사용했다고 설명했다. 전체 학습 방법과 데이터셋은 학습 레시피에서 공개했다.

• Nemotron 3.5 Bolt E4B 4GB 모델
• DFlash GGUF 초안 모델
• BF16 모델
• BF16용 DFlash 초안 모델
• Ollama · Unsloth 안내 · Jetson AI Lab · NVIDIA In-Game Inferencing SDK