메타는 10월 15일 Muse Spark Open의 가중치를 공개했고, 허깅페이스는 같은 날 실행 레시피를 발표했다. 약 8160억 개의 매개변수를 가진 이 모델은 토큰마다 약 420억 개를 사용하며, 텍스트·이미지·오디오·비디오를 최대 100만 토큰까지 처리한다. 다만 사용 허가 조건과 큰 메모리 요구량이 따른다. 허깅페이스의 실행 안내와 모델 카드를 공개했다.
Muse Spark Open은 전문가 혼합(Mixture of Experts) 모델이다. 62개 층마다 소규모 전문가 네트워크 256개가 있고, 토큰마다 그중 8개만 실행된다. 따라서 계산량은 420억 매개변수 모델 수준이지만, 전체 전문가를 메모리에 올려야 하므로 메모리 요구량은 8160억 매개변수 모델에 가깝다. 전체 정밀도 체크포인트는 약 1.5TB다. 메타는 4비트 버전이 엔비디아 Blackwell 칩을 탑재한 B200 서버 한 대에 들어간다고 설명했다. 모델은 추론을 항상 사용하며, 개발자는 강도를 low, medium, high, xhigh로 설정할 수 있다. 기본값은 xhigh다.
허깅페이스 엔지니어들은 H100 칩 64개로 500스텝 미세조정하는 데 약 2시간이 걸렸다고 밝혔다. 또 메모리 512GB를 갖춘 Mac Studio 한 대에서 2비트 버전을 초당 18토큰으로 실행했다. 메타는 M5 Ultra Mac Studio 두 대로 모델 전체를 데스크톱에서 실행할 수 있다고 홍보했다. 그러나 모델 카드가 제시한 메모리 요구량은 4비트 버전에서 그래픽 메모리 700GB, 전체 정밀도에서 2TB다.
성능 수치는 평가 방식에 따라 다르게 나타난다. 메타 자체 모델 카드의 xhigh 설정 비교에서 에이전트 작업 평가인 JobBench 점수는 Muse Spark Open이 61.8로, 미국 오픈웨이트 경쟁 모델인 Thinking Machines의 Inkling(31.1)과 엔비디아의 Nemotron 3 Ultra(27.2)를 앞섰다. 도구 사용 평가 MCP-Atlas에서도 Inkling의 76.0보다 높은 89.2를 기록했다. 반면 코딩 평가에서는 Kimi K3가 앞섰다. Terminal-Bench 2.1에서 Muse Spark Open은 76.4, Kimi K3는 85.0을 받았고, DeepSWE 1.1에서는 각각 60점과 68점이었다. 이 점수들은 모두 메타의 모델 카드에 실린 결과다. 메타의 모델 카드
독립 평가 기관 Artificial Analysis는 지능 지수에서 Muse Spark Open에 39점을 줬다. 평가 대상 120개 모델 중 10위이며 중앙값은 19점이다. 다만 비슷한 크기의 다른 오픈웨이트 모델에 비해 비용이 특히 높다고 평가했다. 호스팅 서비스 요금은 입력 토큰 100만 개당 1.25달러, 출력 토큰 100만 개당 4.25달러였고 생성 속도는 초당 118토큰이었다. Artificial Analysis 평가
가중치에는 Muse Model License가 적용된다. 모델이나 그 출력으로 학습·증류한 모델을 사용하는 제품은 인터페이스나 문서에 ‘Built with Muse Spark Open’을 눈에 띄게 표시해야 한다. 모델 접근을 서비스로 판매하는 회사의 매출이 어느 12개월 동안 2000만 달러를 넘으면 메타에 알리고 별도 서면 계약을 맺어야 한다. 모델 출력의 소유권은 사용자에게 둔다. 사용 정책은 군사·핵·첩보 목적, 핵심 인프라·교통·중장비 운영, 18세 미만 사용자의 이용을 금지한다. 저장소는 접근이 제한돼 있어 다운로드 전에 양식을 제출해야 한다. 모델 카드와 사용 조건
메타는 자체 모델 카드의 벤치마크가 모두 자체 평가 도구에서 나온 결과라고 밝혔다. 전체 평가 보고서는 추후 공개할 예정이며, 공개 당시 Artificial Analysis 페이지에는 텍스트 결과만 실려 있었다. 따라서 메타의 비교 결과와 독립 평가를 구분해 살펴볼 필요가 있다. 메타의 발표 · The New Stack의 분석
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요