TL;DR

  • NVIDIA가 DGX Spark 64GB를 4,999달러에 출시하고, 기존 128GB 모델 가격을 약 6,950달러로 인상함.
  • 64GB 모델은 ConnectX-7 200GbE 네트워킹을 유지하며, NVIDIA는 두 대를 묶어 약 8,000달러에 128GB 클러스터를 구성할 수 있다고 밝힘.
  • 기사에서는 클러스터 확장보다 단일 시스템의 메모리 용량을 먼저 늘리는 접근을 권하며, 가능하면 스케일 업(scale up) 후 스케일 아웃(scale out) 할 것을 제안함.
  • 가격이 오른 GB10 시스템은 메모리 용량과 대역폭이 비슷한 AMD Gorgon Halo 및 Apple Mac Studio M5 Ultra와 경쟁하게 됨.
  • 메모리 가격 상승과 로컬 실행의 데이터 통제 이점이 GB10의 가치 평가에 영향을 주지만, 하드웨어 비용 부담도 커짐.

NVIDIA DGX Spark 64GB 출시와 128GB GB10 가격 인상

  • NVIDIA GB10 생태계에 두 가지 변화가 생김. DGX Spark 128GB 제품군 가격이 상승하고, 64GB 모델이 4,999달러에 추가됨.
  • NVIDIA에 따르면 새 DGX Spark 64GB는 Acer, ASUS, Dell, Gigabyte, HP, MSI 제품으로 10월 23일 금요일부터 판매될 예정임.
  • 파트너 제품의 4,999달러 가격이 1TB 구성인지 4TB 구성인지는 아직 확인되지 않음.
  • 64GB 모델은 128GB 모델과 마찬가지로 NVIDIA ConnectX-7 200GbE 네트워킹을 유지함.
  • 약 1년 전 DGX Spark 128GB/4TB 모델은 3,999달러에 출시됐으며, 현재 해당 모델 가격은 6,950달러임.
  • NVIDIA는 새 64GB 모델 두 대를 손쉽게 클러스터링해 총 128GB 메모리를 구성할 수 있고, 가격은 약 8,000달러라고 설명함. 관련 기능은 소프트웨어에서 지원됨.

GB10 클러스터 구성 경험

  • 올해 초 노드당 약 3,000달러에 시스템을 구매해 NVIDIA GB10 128GB 노드 8대로 클러스터를 구축함.
  • 해당 클러스터 구성은 현재 5만 달러 이상의 선택지가 됨.
  • [Dell Pro Max with GB10으로 12개월 안에 수익 내기](Using the Dell Pro Max with GB10 to Profit within 12 Months) 사례에서는 약 6,000달러로 256GB 클러스터를 구성해 가치를 얻기 쉬웠음. 이는 OpenClaw가 에이전트형 인공지능(AI)의 발전을 크게 촉진하기 전의 평가임.
  • 기존 시스템을 8노드 클러스터에 추가해 같은 풀에서 운용했으며, 에이전트형 AI가 막 부상하던 시점이라 시스템의 투자 회수 기간을 실제보다 길게 예상했음.
  • 두 대의 128GB 노드로 클러스터를 만드는 것도 좋은 구성임. 다만 클러스터 운용 경험과 먼저 확장한 뒤 분산하는 접근에 비춰, 일반적으로는 64GB 노드 두 대보다 128GB 단일 노드를 권함.

가격과 대안 비교

  • 64GB 시스템의 4,999달러와 128GB 시스템의 6,950달러는 모두 높은 가격대로 평가됨.
  • 6,950달러는 10월 출시 예정인 일부 AMD Gorgon Halo 시스템 가격대와 겹침. 메모리 대역폭은 비슷하지만, AMD는 192GB로 메모리 용량이 50% 더 크고 NVIDIA는 네트워킹이 더 뛰어난 대신 용량이 128GB임.
  • 총 메모리 용량이 192GB 이하라면 여러 시스템으로 분산하기보다 단일 시스템을 유지하는 편을 선호함. 가능한 한 먼저 스케일 업하고 이후 스케일 아웃하는 방식임.
  • Apple은 곧 256GB Mac Studio M5 Ultra를 10,000달러에 출하할 예정이며, NVIDIA GB10 두 대의 가격이 더 높다면 강력한 경쟁 제품이 될 수 있음.
  • 연구실에서 운용 중인 M3 Ultra 512GB 시스템은 매우 높은 작업량을 감당하는 시스템임.

메모리 가격과 GB10의 가치

  • 메모리 가격은 주로 모델 성능이 개선되면서 계속 상승하고 있음. GB10으로 수행할 수 있는 작업의 가치도 커지고 있지만, 하드웨어 비용은 모두에게 부담스러운 수준임.
  • 6,950달러는 월 200달러인 OpenAI 또는 Claude 구독료 약 3년 치에 해당함. 반면 클라우드 구독을 이용하면 데이터를 제3자에게 보내게 됨.
  • 최신 OpenAI 및 Claude 모델이 출시되면서 프런티어 모델과 로컬에서 실행할 수 있는 소형 오픈소스 모델 사이의 성능 격차가 더 커졌다는 점도 고려할 요소임.
  • STH 편집장 겸 수석 분석가 Patrick은 64GB ECC RDIMM 메모리에 2,000달러를 지불하고 있으므로 가격 상승은 논리적으로 불가피하다는 반응을 보임.

“아차, 하지만 64GB ECC RDIMM에 2,000달러를 지불하고 있으니 가격이 논리적으로 오를 수밖에 없음.”

  • Patrick은 GB10 시스템에서 예상보다 훨씬 많은 가치를 얻고 있어, 가치를 창출하는 속도를 크게 과소평가했다고 덧붙임.

“GB10으로 예상보다 훨씬 많은 가치를 얻고 있어, 가치를 창출하는 속도를 크게 과소평가했음.”

NVIDIA DGX Station과 클러스터링

  • 10월에는 STH에서 NVIDIA DGX Station 리뷰 3편이 공개될 예정임.
  • GB300 기반 시스템은 현재 약 10만 달러에 판매됨. GB10 가격이 오르면서 GB10 클러스터와 더 큰 10만 달러 시스템 사이의 가격 차이가 좁혀질 수 있음.
  • Substack에 공개된 GB300 Station 기사에서는 800Gbps 네트워킹을 사용해 GB300 Station을 클러스터로 운용했으며, 이 경험을 통해 스케일 업과 스케일 아웃 사이의 선택을 깊이 이해하게 됨.
  • Patrick Kennedy의 [NVIDIA DGX Station(GB300) 네트워킹은 생각과 다름](The NVIDIA DGX Station (GB300) Networking is Not What You Think by Patrick Kennedy) 기사에서는 해당 시스템이 네오클라우드(Neocloud)나 엔터프라이즈에서 원하는 구성에 더 가까워 보인다고 설명함.