마이크로소프트 AI는 총 2.8조 개, 활성 800억 개 매개변수를 가진 혼합 전문가(MoE) 기반 모델 MAI-Base-2의 사전학습을 마쳤다고 밝혔다. 회사가 공개한 자체 평가에서 시험한 오픈 웨이트 모델보다 낮은 바이트당 비트(BPB)를 기록했으며, 기준 모델과 비교해 사전학습 연산량을 4.2~12.3배 줄였다는 설명이다. MAI-Base-2는 현재 후속 학습을 진행 중이다.
마이크로소프트는 지난 6월 MAI-Base-1을 후속 학습해 추론 성능을 높인 범용 기반 모델 MAI-Thinking-1을 발표했다. 이번에 공개한 MAI-Base-2는 그보다 더 크고 희소한 구조이며 더 많은 데이터로 학습했다. 회사는 모델부터 학습 인프라까지 자체적으로 운영하면 학습 데이터의 출처를 관리하고, 다른 모델에서 증류하지 않은 자체 수집 데이터를 바탕으로 신뢰할 수 있는 파트너에게 Foundry를 통해 모델 가중치를 제공할 수 있다고 밝혔다.
학습 규모와 평가 방식
MAI-Base-2는 2026년 8~9월 38일 동안 GB200 GPU 1만6,000개로 학습했다. 학습 중 평균 모델 부동소수점 연산 활용률(MFU)은 21%, 학습이 실제로 진행된 시간의 비율인 goodput은 89%였다. MFU는 GB200의 BF16 이론상 최대치인 2.5 PFLOPS를 기준으로 정규화했으며, 재계산(rematerialization)과 옵티마이저 연산은 제외했다.
마이크로소프트는 평가 데이터를 학습 데이터와 대조해 오염을 제거했다고 설명했다. 텍스트는 토크나이저에 좌우되지 않는 BPB로 평가했고, 코드는 자체 코드베이스를 사용했다. STEM·수학·질의응답 평가는 학습 세트 오염 위험을 낮추기 위해 외부 업체에 의뢰했다. 비교 대상은 2026년 10월 전에 공개된 프런티어 체크포인트다. DeepSeek-V4-Pro-Base는 비교 가능한 유일한 1조 개 초과 매개변수 기반 사전학습 체크포인트라고 설명했다. Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL은 후속 학습된 체크포인트만 공개돼 있어, 후속 학습이 평가 결과에 영향을 줬을 수 있다는 단서를 붙였다.
4.2~12.3배의 연산 효율 수치는 DeepSeek-V4-Pro-Base의 BPB를 맞추는 데 필요한 계산량을 자체 모델 규모별 학습 결과로 추정해 비교한 값이다. 네 가지 평가마다 BPB와 학습 연산량의 관계를 별도로 맞췄으며, MAI-Base-2의 최종 성능도 계산에 포함해 추정 지점이 실측한 모델 범위 안에 오도록 했다. 회사는 MAI-Base-1과 비교하면 6월 공개 이후 연산 효율이 6.3~12.7배 개선됐다고 밝혔다. 이 수치들은 마이크로소프트의 평가와 분석 결과다.
규모 확장과 모델·인프라 설계
마이크로소프트는 규모별 모델군을 같은 학습 방식으로 훈련하는 ‘스케일링 사다리’를 이용해 변경 사항을 평가했다. 작은 규모에서 데이터를 여러 번 반복해 학습하는 조건도 반영하기 위해, 사다리의 낮은 단계에서는 모델이 접하는 고유 샘플을 제한하는 ‘소스 스케일링’을 적용했다. 회사는 이 방법이 고유 데이터와 매개변수의 비율을 일정하게 유지해 작은 모델의 결과를 큰 모델로 확장할 때 생기는 과적합 위험을 낮췄고, 2.8조 매개변수 모델로 안정적으로 규모를 키우는 데 중요했다고 설명했다.
학습률(LR)과 가중치 감쇠(WD)는 서로 영향을 주기 때문에 함께 탐색했다. 마이크로소프트는 성능이 두 값의 곱에 민감하다는 관찰을 바탕으로 탐색 범위를 조정하고, 규모별 실험에서 도출한 새 규칙을 중간 규모에서 기존 경험칙과 비교해 검증했다고 밝혔다. 이 규칙을 MAI-Base-2의 하이퍼파라미터 설정에 사용했다.
모델과 인프라를 함께 조정하는 과정에서는 연산량 기준 효율과 실제 학습 시간 기준 효율을 구분했다. 회사는 실제 인프라 상태를 반영하는 시간 기준을 주로 활용하고, 연산량 기준은 프로토타입의 잠재력을 살펴 향후 인프라 투자를 판단하는 데 썼다고 설명했다.
MAI-Base-1에서는 전문가 혼합 구조를 매 두 번째 층에 두는 편이 실제 학습 시간에 유리했지만, MAI-Base-2에서는 메모리 단편화와 전문가별 처리 오버헤드를 줄여 모든 층에 MoE를 적용했다. 이에 따라 MoE 층의 MFU가 24%에서 35%로 높아졌다고 밝혔다. 토큰을 버리지 않는 다중 라운드 처리 방식은 토큰 배분이 불균형해도 메모리 사용량을 고정해 단편화와 메모리 부족 오류를 줄이도록 설계했다. 토큰 용량은 조정할 수 있으며, 용량을 줄이면 추가 처리 라운드와 연산이 늘 수 있다.
마이크로소프트는 가장 큰 모델에서 Muon 옵티마이저가 AdamW보다 안정적인 학습과 효율 향상을 보였다고 밝혔다. 1만6,000개 GPU 환경에 맞춰 통신과 계산을 겹치고, 재분할 메타데이터를 재사용하는 등 구현을 최적화했다. 최적화 후 Muon은 MAI-Base-2의 평균 학습 반복 시간 중 2.1%(165밀리초)를 차지했다. 회사가 추정한 이론상 성능은 55밀리초였으며, 실제와의 차이는 작업 지연, 커널 실행 오버헤드, 부하 불균형, 재분할 중 메모리 복사와 할당 등에 기인한다고 설명했다.
또한 일부 네트워크 지점에서 활성값의 그래디언트를 제한하는 방법을 적용했다. 마이크로소프트는 이 방법이 이상치가 배치 전체의 그래디언트에 미치는 영향을 줄이고, Muon과 함께 MAI-Base-2의 그래디언트 노름을 MAI-Base-1보다 좁은 범위로 유지했다고 밝혔다. 활성값 그래디언트 제한은 학습 데이터의 이상 사례를 찾는 진단에도 쓰였다. 코드 데이터의 라이선스 문구가 문장 중간에서 잘린 사례를 발견해 전처리 오류를 추적했고, 해당 오류를 수정했다고 설명했다.
데이터와 다음 단계
마이크로소프트는 MAI-Base-2의 고유 학습 토큰 기준 데이터 규모가 MAI-Base-1보다 약 36% 커졌다고 밝혔다. 품질 분류, 주제별 분류, 웹 파싱, 중복 제거, 평가 데이터 오염 제거를 개선했고, 임베딩 기반 다양성 샘플링으로 새로운 데이터를 우선하고 중복 콘텐츠를 줄였다고 설명했다. 웹 데이터의 지식 기준 시점은 2026년 3월이다.
MAI-Base-2는 MAI-Base-1과 달리 비전 언어 모델(VLM) 구조로 사전학습 단계부터 이미지 정보를 처리한다. 이미지와 텍스트 쌍, 텍스트와 이미지가 섞인 문서 등을 포함한 비전 언어 데이터는 고유 토큰 4.5조 개 규모이며, 반복을 포함하면 전체 50조 토큰 학습 구성의 18%를 차지했다. 데이터에는 이미지 설명, 차트 이해, 시각적 위치 파악, 공간 추론, 의료 이해, 컴퓨터 사용, 악보 읽기 등이 포함됐다.
마이크로소프트는 MAI-Base-2를 차세대 모델의 기반으로 삼고 있으며, 모델은 현재 후속 학습 중이라고 밝혔다. MAI-Base-3 준비도 시작했다. 웹 데이터 수집에는 Robots Exclusion Protocol(robots.txt)과 관련 메타 태그·HTML 제어를 존중하는 자체 크롤러를 사용하고, 마이크로소프트의 책임 있는 AI 정책을 위반하거나 미국 무역대표부의 악명 높은 시장 목록에 있는 것으로 보이는 출처는 제외한다고 덧붙였다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요