애플의 200억 매개변수 모델은 메모리를 아끼지만 수학엔 약하다

애플의 온디바이스 모델 Core Advanced는 200억 개 매개변수 가운데 요청에 따라 10억~40억 개만 활성화하고, 나머지 가중치는 플래시 저장장치에 둔다. 줄리앙 시몽(Julien Simon)은 M3 Max 탑재 맥북 프로에서 측정한 결과를 바탕으로 메모리와 전력 사용을 줄이는 설계와 그 대가를 살폈다.

맥에서 확인한 작동 방식

애플은 Core Advanced를 구글과 협력해 만든 모델이라고 설명한다. 이 모델은 Siri의 새로운 음성과 받아쓰기, 그리고 앱의 텍스트 요약·정보 추출·분류·문장 다듬기 등에 쓰인다. 애플은 기본 수학, 코드 작성, 논리적 추론을 피해야 할 작업으로 안내한다.

시몽은 모델 파일을 열거나 메모리를 덤프하지 않고, macOS가 제공하는 파일 읽기·메모리·전력 측정 도구와 공개 명령어를 사용했다고 밝혔다. 측정 대상은 M3 Max와 메모리 48GB를 탑재한 맥북 프로다. 분석 자료와 실험 절차는 공개 저장소에 있다.

관찰 결과, 모델의 4.95GB 파일은 플래시에 저장되고, 요청에 필요한 전문가(expert)만 불러오는 구조로 나타났다. 모델은 애플 뉴럴 엔진에서 실행된다. 긴 요청이 끝난 뒤 모델과 안전성 모델이 사용한 메모리는 약 2.0GiB였다. 비교 대상으로 같은 맥에서 실행한 구글 Gemma 4 26B A4B는 4비트 설정에서 약 15GiB를 사용했다. 다만 이 비교에는 애플 모델의 약 2비트 가중치와 Gemma의 4비트 가중치 차이도 포함된다.

시몽이 초등 수준 수학 문제 20개를 풀게 해 전력 사용을 비교했을 때, 애플 모델은 자신이 실행한 오픈 모델 가운데 전력을 가장 적게 쓴 모델보다 에너지를 약 3분의 1 사용했다. 애플 모델은 이 문제 가운데 13개를 풀었고, 비교 모델들은 19~20개를 풀었다. 측정은 문제 20개와 각 설정별 한 차례 실행에 기반하며, 저장장치 전력은 측정에 포함되지 않았다.

활용할 작업과 피할 작업

애플의 개발자 안내는 온디바이스 모델을 요약, 정보 추출, 텍스트 이해와 분류, 문장 다듬기, 창작 글쓰기, 태그 생성 등에 사용할 수 있다고 설명한다. 메모리와 배터리를 아끼면서 짧고 형태가 일정한 작업을 처리해야 한다면 고려할 수 있다. 반면 수학·코드·논리 추론에는 적합하지 않다고 애플은 안내한다.

모델 버전을 고정하거나 직접 조정할 수도 없다. 애플 개발자 포럼의 엔지니어는 현재 모델 고정이나 버전 조회 API가 없으며, 모델이 운영체제 업데이트에 따라 바뀐다고 밝혔다. 또한 애플은 macOS 27에서 개발자용 어댑터를 중단했다. 시몽은 작업에 맞는지 확인하려면 실제 업무에서 뽑은 질문으로 모델을 비교하고, 운영체제를 업데이트할 때마다 다시 시험하라고 제안한다.

구글의 기여와 애플의 설계

애플과 구글은 차세대 애플 파운데이션 모델이 구글의 Gemini 모델과 클라우드 기술을 바탕으로 한다고 발표했다. 애플은 최신 클라우드 TPU에서 사전 학습 규모를 키웠다고 설명했고, 6월 언론 브리핑에서 애플의 AI 부사장 아마르 수브라마냐(Amar Subramanya)는 모델이 Gemini 모델의 출력을 활용해 개선됐다고 말했다고 9to5Mac이 전했다. 다만 애플은 고객에게 제공하는 구글 모델을 그대로 사용하지 않는다고 설명했다.

시몽은 측정한 토크나이저가 Gemma 3와 같은 토큰 수를 냈다는 점도 확인했다. 이는 토크나이저가 같다는 근거가 될 수 있지만, 모델 가중치의 출처를 증명하지는 않는다. 전문가를 플래시에 두고 요청별로 선택하는 설계는 애플 연구진의 공개 논문에서도 다뤄졌다. 이 설계가 실제 Core Advanced에 어떻게 적용됐는지에 관한 설명에는 측정에 근거한 관찰과 시몽의 추정이 함께 포함돼 있다.

애플 모델은 메모리와 전력 사용을 줄이는 대신 일부 작업의 정확도와 개발자의 제어 기능을 제한한다. 버전을 고정하거나 모델을 맞춤 조정해야 하는 작업, 그리고 수학·코드처럼 추론 능력이 중요한 작업에는 다른 모델을 함께 평가하는 편이 낫다. 애플은 새 모델에 관한 기술 보고서를 여름에 공개하겠다고 예고했지만, 시몽은 10월 25일 기준으로 보고서를 찾지 못했다고 밝혔다.