Cohere Transcribe 03-2026은 LibriSpeech-clean에서 단어 오류율(WER) 1.46%를 기록했지만, 평가한 4개 데이터셋의 평균은 13.65%로 Cohere가 발표한 5.42%보다 2.5배 높았다. 특히 회의 음성 데이터셋 AMI에서 오류율이 높았으며, 다국어 평가는 시험 데이터 로딩 실패로 검증되지 않았다.

InferenceBench는 H100 1·2·4·8개 구성에서 모델을 시험했다. VoxPopuli-EN의 WER은 6.25%였고, AMI-IHM은 17.74%, AMI-SDM은 29.17%였다. 평가에는 데이터셋별 30개 샘플을 사용했다.

단일 H100 구성에서 실시간 대비 처리 속도(RTFx)는 약 12배로, 오디오 30초를 약 2.5초의 연산 시간에 처리했다. 여러 GPU를 사용하면 동시 처리량은 늘지만 요청 하나의 지연 시간은 줄지 않는다고 평가팀은 설명했다. 자체 호스팅 비용은 시간당 오디오 약 0.21달러로 추산했으며, 월 2,000시간을 넘는 사용량에서는 호스팅 API보다 비용상 유리할 수 있다고 봤다.

AMI 결과와 Cohere 발표 수치의 차이는 데이터셋의 하위 분할, 추론 설정, 샘플 수 차이에서 비롯됐을 가능성이 있다. 평가팀은 다국어 시험에서도 14개 언어의 샘플을 불러오지 못해 결과를 얻지 못했다고 밝혔다. 이는 모델 자체의 실패가 아니라 벤치마크 인프라 문제라고 설명했으며, 다국어 성능은 아직 검증되지 않았다.

평가팀은 무음·음악·백색 잡음에서 음성 내용을 지어내지 않았다고 보고했다. 깨끗한 음성에는 적합할 수 있지만, 회의 녹음이나 원거리 마이크 음성에는 높은 오류율을 고려해 실제 환경에서 별도 평가가 필요하다. 본문은 모델을 Cohere의 상용 라이선스로 제공한다고 설명하며, 입력 오디오는 16kHz 모노여야 한다고 안내한다.

부록: 원문 예시

text
import openai, base64 client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed") audio_b64 = base64.b64encode(open("clip.wav", "rb").read()).decode() resp = client.audio.transcriptions.create(   model="CohereLabs/cohere-transcribe-03-2026",   file=("clip.wav", base64.b64decode(audio_b64)), ) print(resp.text)