Apertus 프로젝트가 8B·70B 모델을 업데이트한 Apertus 1.5 기술 보고서를 공개했다. 이미지와 음성을 입력으로 처리하고, 선택형 추론 모드와 262,144토큰 문맥 창을 지원한다. 모델 가중치는 Apache 2.0 라이선스로 공개됐다.
Apertus 1.5는 Apertus 1.0을 이어 학습한 모델이다. 8B에는 4조 토큰, 70B에는 2조 토큰의 텍스트·멀티모달 데이터를 추가해 각각 총 19조·17조 토큰으로 학습했다. 프로젝트 측은 가중치와 데이터, 가치 원칙, 학습 세부 정보를 공개했다고 밝혔다.
이미지와 음성은 별도의 비전 인코더 대신 텍스트와 같은 시퀀스의 토큰으로 처리한다. 이미지에는 Emu3.5 토크나이저를 사용하며 512×512 이미지는 1,024토큰으로 변환한다. 음성은 WavTokenizer로 초당 40토큰을 처리한다. 아키텍처는 바꾸지 않았고 모델 출력은 텍스트로만 생성된다. 음성 처리는 가능하지만 아직 실험 단계다.
학습은 비쌍 데이터, 이미지·캡션 및 음성·전사문 쌍, 고품질 데이터 중심의 쿨다운, 장문맥 확장 순으로 진행했다. 문맥 창은 8천 토큰에서 262,144토큰까지 단계적으로 늘렸다. 학습 토큰의 절반 이상은 텍스트만 포함해 Apertus 1.0의 언어 능력을 유지하도록 했다.
사후 학습에는 지도 미세 조정(SFT), 장문맥 SFT, 검증 가능한 보상을 이용한 강화학습(RLVR), 선호도 최적화(DPO), Apertus Charter에 맞춘 정렬(SDPO)이 포함됐다. SFT에는 텍스트 370만 개 샘플과 이미지·음성 데이터가 쓰였으며, RLVR은 약 35만 개의 수학·코드·지시 따르기·다국어·비전 프롬프트를 활용했다. 프로젝트는 SFT 데이터 구성과 선호도 데이터도 공개했다.
프로젝트 측 평가에 따르면 Apertus 1.5는 이전 버전보다 코딩과 지시 따르기 성능이 개선됐고, 8B 모델은 지시 따르기와 다국어 과제에서 비슷한 규모의 오픈 웨이트 모델보다 높은 성능을 보였다. 추론 모드는 AIME 등 어려운 추론 중심 벤치마크에서 성능을 더 높였다. 다만 프로젝트는 전체적으로 최첨단 오픈 웨이트 모델에는 아직 뒤처진다고 설명했다. 멀티모달 성능은 일부 공간 이해와 문서·차트 이해 과제에서 다른 오픈 모델과 경쟁력 있는 수준이라고 밝혔다.
모델 가중치와 중간 체크포인트, 학습 데이터 및 평가 자료는 Hugging Face 컬렉션과 Apertus 1.5 데이터 컬렉션에서 확인할 수 있다. 전체 학습 방법과 평가 결과는 기술 보고서에 담겼다. 모델 실행 방법은 Hugging Face 모델 카드와 빠른 시작 안내에서 제공한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요