엔비디아가 RTX Spark에서 로컬 에이전트를 구동하도록 설계한 대규모 언어 모델 Nemotron 3.5 Bolt 74B-A9B 24GB를 10월 15일 공개한다. 740억 개 매개변수 가운데 90억 개를 활성화하는 전문가 혼합(MoE) 모델로, 2비트 양자화로 24GB에 담았으며 학습 데이터와 가중치, 학습 레시피를 공개한다고 엔비디아는 밝혔다.
모델은 출시 시점에 llama.cpp, vLLM, Ollama, Unsloth, LM Studio에서 실행할 수 있고 Hermes와 OpenClaw 같은 에이전트에서도 바로 이용할 수 있다. 엔비디아는 양자화 인식 학습 기법을 적용해 품질을 유지하면서 속도와 지능의 균형을 맞추는 것이 목표라고 설명했다. 다만 원문에는 이 모델의 독립적인 성능 비교 결과가 제시되지 않았다.
RTX Spark에서는 GitHub Copilot, Hermes, OpenClaw, Perplexity, Pi, WorkBuddy 등이 로컬 모델 설정을 간소화하고, 일부는 로컬·클라우드 모델을 함께 사용하는 기능을 지원한다. 엔비디아의 OpenShell과 Microsoft Execution Containers(MXC)는 에이전트 실행을 위한 보안 기능을 제공한다. Hermes는 이달 말 세분화된 OpenShell 제어 기능과 MXC를 통합할 예정이며, OpenClaw와 GitHub Copilot은 이미 MXC를 지원한다.
엔비디아는 개인 AI 라우터 PAIR도 베타를 끝내고 정식 공개한다고 밝혔다. 무료 오픈소스 도구인 PAIR는 로컬 네트워크에서 호환 기기를 찾아 연결하고, 모델과 추론 엔진을 설치해 여러 시스템에 작업을 분산한다. 새 버전은 llama.cpp와 Hugging Face에서의 모델 직접 다운로드, 사용자 설정이 가능한 추론 엔진, RTX Spark를 지원하며 Windows, Linux, macOS에서 작동한다. PAIR 저장소
RTX Spark 노트북은 10월 16일 출시 예정이다. 엔비디아는 최대 128GB 통합 메모리와 1페타플롭의 AI 연산 성능을 제공한다고 소개했으며, 출시를 앞두고 개발·창작·게임 소프트웨어 지원도 확대한다고 밝혔다. 개발 도구로는 Windows on Arm용 PyTorch-CUDA 빌드와 Python 3.15, Conda 설치 프로그램 등이 포함된다. 엔비디아에 따르면 주요 Python 휠 가운데 97%가 준비됐으며 나머지도 생태계와 함께 지원을 확대할 계획이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요