원문 캡처 · futo.tech
원문 캡처 · futo.tech

FUTO가 CPU와 모바일 기기에서 실행하도록 설계한 오픈 음성인식 모델 ASR4ALL을 공개했다. 모델은 스트리밍 방식으로 작동하며, 개발자는 이를 스마트폰과 일반 CPU를 포함한 여러 환경에서 사용할 수 있다.

모델과 부가 기능

ASR4ALL은 소형 2,800만, 중형 5,600만, 대형 9,700만 파라미터의 세 가지 크기로 제공된다. 음성을 입력받는 동안 텍스트를 출력하며, 오프라인 전사에서는 더 큰 오디오 청크를 처리하는 고지연 설정으로 처리량과 정확도를 높일 수 있다. FUTO는 고지연·저지연 스트리밍 설정을 함께 학습해 여러 설정에서 작동하도록 했다고 밝혔다.

기본 음향 디코더에 더해 문장부호와 대소문자 표기, 오류 수정을 담당하는 530만 파라미터의 PCEC 모듈을 제공한다. 합성 오류를 학습에 넣어 음향 모델의 오류와 동음이의어를 바로잡도록 했으며, FUTO는 추론 비용을 적게 늘리면서 단어 오류율을 개선한다고 설명했다.

음성 활동 감지(VAD) 모델은 침묵 구간에서 디코더가 불필요하게 작동하지 않도록 음성을 가려낸다. FUTO는 kiloVAD의 아키텍처를 따르면서 결과를 재현하고 파라미터 2,500개를 더한 모델을 만들었다고 밝혔다. ‘Plus’ 모델에는 조금 더 정확하지만 느린 fsmn-vad, 화자 분할용 ‘powerset’ 헤드와 화자 임베딩 헤드가 추가된다. 이 기능은 어댑터 방식으로 학습했으며 화자 식별·음성 인증, 대화 차례와 길이 계산, 화자 분할 등에 활용할 수 있다.

실행 환경과 성능

모델은 safetensors(PyTorch, transformers), ONNX, ExecuTorch(XNNPACK 기반 CPU·모바일), GGUF 형식으로 제공된다. FUTO에 따르면 int8 양자화는 일반적으로 정확도에 미치는 영향이 적으며, 일부 GGUF 양자화는 5비트 또는 6비트까지 사용할 수 있다.

FUTO는 여러 분야의 약 4만 시간 분량 오디오로 모델을 학습했다. 데이터에는 YouTube, 유럽의회 회의, 회의실 녹음, 오디오북, 억양이 있는 음성, 음성 명령이 포함된다. 배경 소음과 저가 마이크의 대역폭 압축, 음량 변화도 학습에 반영했다.

FUTO는 가장 빠른 모델이 GPU 벤치마크에서 7만 3,000 RTFx를 기록해 기존 모델보다 3배 이상 빠르다고 밝혔다. 측정에 사용된 GPU는 H200이며, 업체는 자체 테스트에서 중형 모델이 라즈베리 파이 4의 단일 코어에서도 더 까다로운 저지연 설정으로 실행됐다고 설명했다. Intel CPU의 내장 GPU에서 ONNX와 OpenVINO를 이용하는 방식도 제시했다. RTFx는 연산 1초당 처리하는 오디오 초 수를 나타낸다.

모델은 상업적 이용을 허용하는 라이선스로 공개됐지만, 대규모 감시나 정보 수집 등 윤리적 예외 조항을 위반하는 용도에는 사용할 수 없다. FUTO Keyboard와 FUTO Voice 이용자에게는 향후 업데이트에서 모델을 제공할 예정이다.