엔비디아는 2비트 양자화(quantisation)와 전문가 혼합 구조를 적용해 메모리 사용량을 약 24GB로 낮춘 언어 모델 Nemotron 3.5 Bolt 74B를 2026년 10월 15일 공개할 예정이라고 밝혔다. 여러 컴퓨터에 AI 추론 작업을 분산하는 무료 오픈소스 도구 PAIR도 베타를 끝내고 10월 14일 정식 출시한다.
Nemotron 3.5 Bolt 74B는 대화 응답뿐 아니라 추론, 도구 호출, 소프트웨어 상호작용을 수행하는 AI 에이전트용 모델이다. 총 매개변수는 740억 개지만 전문가 혼합(Mixture of Experts, MoE) 구조를 사용해 토큰마다 약 90억 개를 활성화한다. 다만 활성 매개변수가 적더라도 전체 가중치를 저장하거나 추론 중 접근할 수 있어야 한다.
엔비디아는 2비트 양자화와 양자화 인식 학습(quantisation aware training)을 적용해 모델 메모리 사용량을 약 24GB로 맞췄다고 설명한다. 740억 개 매개변수를 매개변수당 2비트로 저장할 때 이론상 약 18.5GB가 필요하며, 이는 추가 오버헤드를 포함하지 않은 수치다. 엔비디아는 품질을 유지하는 기법을 썼다고 밝혔지만, 여러 작업에서의 성능은 독립적인 평가가 필요하다.
모델은 llama.cpp 등 지원되는 추론 프레임워크에서 사용할 수 있으며 Hermes와 OpenClaw 같은 에이전트 플랫폼에 통합할 수 있다고 엔비디아는 밝혔다. 공개되는 가중치와 학습 데이터, 레시피를 활용해 모델을 맞춤화하고 미세 조정할 수도 있다. 실제 메모리 요구량은 모델 파일과 추론 구현, 실행 중 오버헤드에 따라 달라진다.
PAIR(Personal AI Router)는 호환되는 컴퓨터를 찾아 연결하고, 모델과 추론 엔진을 설치하며, 로컬 네트워크에 연결된 기기들에 추론 작업을 분배하는 도구다. 새 버전에는 llama.cpp 지원, Hugging Face에서 모델을 직접 내려받는 기능, 조정 가능한 추론 설정, RTX Spark 호환성이 추가된다. Windows, Linux, macOS를 지원한다.
여러 컴퓨터를 연결한다고 해서 하나의 모델이 자동으로 나뉘어 실행되는 것은 아니다. 독립된 요청을 여러 기기에 분배하는 방식과 한 모델을 여러 기기에 쪼개는 방식은 다르며, 실제 이점은 소프트웨어 구조와 네트워크 대역폭, 작업 종류, 지원 하드웨어에 달려 있다.
엔비디아는 최대 128GB 통합 메모리와 1페타플롭의 AI 연산 성능을 제공하는 RTX Spark 플랫폼을 2026년 10월 16일부터 출시할 예정이라고 밝혔다. Nemotron 3.5 Bolt 74B는 이 플랫폼에서 활용할 모델로 소개됐지만, RTX Spark 전용은 아니다. 다른 시스템에서의 사용 가능성과 성능은 호환 추론 소프트웨어와 메모리, 하드웨어 성능에 따라 달라진다.
로컬 실행은 민감한 정보를 원격 추론 서비스로 보내지 않고 처리할 수 있고, 인터넷 연결 없이도 작동할 수 있다. 다만 모델 파일과 필요한 소프트웨어를 미리 갖춰야 하며, 적절한 하드웨어와 보안 설정, 시스템 통합도 필요하다. 모델 자체가 업무 시스템에 접근하고 행동하는 완성형 에이전트를 제공하는 것은 아니다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요