TL;DR

  • Stepped MoE는 배포 환경의 계산 제약과 작업 요구를 함께 반영하는 희소 라우팅 모델로, 10억·20억·30억·40억 파라미터 규모를 하나의 모델로 제공함.
  • 모델 백본이 입력 문맥과 목표 효율 사양을 함께 조건으로 삼아 추론 시 정확도와 효율의 균형을 세밀하게 조절함.
  • 입력에 맞는 파라미터를 탄력적으로 중첩된 서브네트워크 안에서 활성화해 작업 적응형 라우팅과 여러 모델 용량을 결합함.
  • 지식 집약적 벤치마크에서 같은 규모의 밀집 모델보다 2~5% 높은 정확도를 보이고, 고정형 모델과 대등한 수준의 정확도 및 밀집 모델과 유사한 지연 시간을 달성함.
  • 파라미터 공유로 기기 디스크 사용량을 줄이고, 이용 가능한 DRAM과 연산 자원에 따라 제공 규모를 조정함.

논문 개요

  • Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei가 Stepped MoE: Segment-Level Routing with Configurable Inference Complexity 논문을 작성함.
  • 논문은 대규모 언어 모델(LLM) 학습의 높은 자원 비용과 서로 다른 연산 제약을 가진 배포 환경에 맞춘 모델 적응 문제를 다룸.
  • 기존 접근법은 탄력적 아키텍처와 희소 활성화 모델을 서로 독립적인 차원으로 취급하며, 온디바이스 엣지 추론 모델은 기기의 메모리와 연산 한계를 충족해야 함.

모델 구성과 라우팅

  • 제안 프레임워크는 탄력적 구조와 희소 게이팅 아키텍처를 결합해 배포 제약과 작업 요구에 동시에 적응하는 모델을 구성함.
  • 모델 백본은 문맥과 목표 효율 사양을 모두 조건으로 삼아 추론 시 정확도와 효율 간 균형을 세밀하게 제어함.
  • 모델은 탄력적으로 중첩된 서브네트워크에서 작업 관련 파라미터를 활성화해, 하나의 모델로 여러 용량 지점을 제공하면서 입력 적응형 라우팅을 유지함.
  • 사용할 수 있는 규모는 10억, 20억, 30억, 40억 파라미터임.

실험 결과와 배포 특성

  • 지식 집약적 벤치마크에서 제안 모델은 대응하는 밀집 모델보다 2~5% 높은 정확도를 보임.
  • 고정형 모델과 대등한 수준의 정확도를 유지하고, 밀집 모델과 유사한 지연 시간 지표를 제공함.
  • 모델 파라미터를 공유해 기기 디스크 공간을 절약하고, 사용 가능한 DRAM과 연산 자원에 따라 서비스 규모를 조정함.

논문 정보