엔비디아가 40개 언어를 다루는 음성인식 모델을 공개했다

엔비디아는 음성 전사와 화자 구분, 번역, 오디오 질의응답을 한 모델에서 처리하는 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 공개했다. 40개 언어를 전사하고 그중 31개 언어를 영어와 양방향으로 번역하며, 13개 언어에서 화자를 구분한다. 함께 공개한 Granary v2 데이터셋과 학습 도구를 이용하면 전문 용어나 발화 억양에 맞춰 모델을 조정할 수 있다.

모델은 최대 1시간 분량의 녹음과 최대 8명의 화자를 처리한다. 자연어 지시문으로 출력 형식을 지정할 수 있고, 오디오를 어디에서 처리할지도 선택할 수 있다. 모델과 데이터는 Hugging Face, ModelScope에서 제공한다.

엔비디아가 소개한 벤치마크 결과에 따르면 이 모델은 Hugging Face Open ASR Leaderboard의 영어 부문에서 오픈 웨이트 모델 중 1위이며, David AI의 21개 언어 화자 구분 평가와 VoiceArena의 14개 시스템 비교에서도 선두에 올랐다. 이 결과는 각 평가의 데이터와 조건에 따른 것으로, 모델은 실시간 스트리밍이 아니라 녹음된 오디오용이다.

지시문으로 전사 형식과 분석 작업 지정

같은 모델에 서로 다른 지시문을 주면 회의 녹음에서 전사와 화자 표시, 영어 번역, 회의 결정 사항에 대한 답변을 각각 요청할 수 있다. 낯선 용어는 우선 지시문에 문맥과 용어 목록을 넣어 반영할 수 있다. 예를 들어 의료 대화에서는 HbA1c와 metformin을 후보 용어로 제시하되, 오디오에 근거가 있을 때만 사용하고 표준 의학 표기와 일반적인 숫자 표기를 유지하도록 지시할 수 있다.

모델 카드에는 오디오 질문에 대한 추론을 포함한 권장 프리셋, 전체 프롬프트 안내와 작업별 언어 지원표가 있다. 작업에 따라 지원 언어가 다르며, 오디오 질의응답은 영어로 학습됐다. 단어 단위 타임스탬프도 지원한다. 엔비디아는 다른 음성 모델과 마찬가지로 이름, 화자 전환, 답변을 녹음과 대조해 확인하라고 안내한다.

실시간 음성·영상 플랫폼을 제공하는 Agora는 수업 녹음에 단어 단위 타임스탬프를 적용한 시연을 소개했다. 전사문을 녹화 영상 재생 화면 옆에 보여 주어 학생이 무엇이 언제 말해졌는지 확인하는 방식이다. 구현 과정은 Agora의 설명에 나와 있다.

벤치마크와 실행 조건

Hugging Face Open ASR Leaderboard는 공개 테스트 세트에서 단어 오류율(WER)로 전사 정확도를 평가한다. 엔비디아가 제시한 결과는 영어 부문 평균 WER 5.33%로, API 모델을 제외한 오픈 웨이트 모델 중 1위다. 다국어 부문은 7개 언어 평균 WER 4.62%, 장문 오디오 부문은 평균 10.98%로, 두 결과 모두 모델 카드의 오픈 ASR 비교에서 평가된 오픈 웨이트 모델 중 가장 낮았다. 낮은 WER은 전사 오류가 적다는 뜻이다. 리더보드에서 평가 정보를 확인할 수 있다.

Artificial Analysis의 음성-텍스트 평가는 자체 단어 오류율 지표인 AA-WER을 사용한다. Nemotron 3.5 Transcribe는 오픈 웨이트 모델 중 2.8%로 공동 1위에 올랐으며, 활성 파라미터는 약 4B다. 공동 1위 모델 중 다른 모델은 활성 파라미터가 24B다. 음성 에이전트 발화로 구성되며 AA-WER 지수의 50%를 차지하는 보류 데이터셋 AA-AgentTalk에서는 WER 1.8%를 기록했다. 다음으로 높은 오픈 웨이트 모델은 2.3%였다.

엔비디아에 따르면 이 모델은 음성 인코더와 하이브리드 Mamba–Transformer 혼합 전문가 언어 모델을 결합하며, 전체 30B 파라미터 중 토큰당 활성화되는 파라미터는 약 4B다. Artificial Analysis의 정확도와 활성 파라미터 비교에서 오픈 웨이트 모델의 파레토 전선에 위치하고, 전체 모델 비교에서는 널리 쓰이는 일부 독점 음성 API보다 앞선다. Artificial Analysis 평가를 참고할 수 있다.

화자 구분에서는 음향 특징과 함께 Sortformer 화자 단서를 언어 모델에 전달한다. 이에 따라 화자 표시를 생성 과정에서 붙이며, 전사 후 단어에 화자를 연결하는 단계에만 의존하지 않는다. David AI의 21개 언어 평가에서 전사와 화자 구분을 합친 트랙은 평가된 오픈 웨이트 모델 중 1위, 전체 2위였다. 누가 언제 말했는지를 평가하는 화자 구분 트랙에서는 시험한 14개 시스템 중 오류율이 가장 낮았고, 전용 모델 Nemotron 3 Diarization보다 근소하게 앞섰다. Nemotron 3.5 Transcribe의 화자 구분 오류율(DER)은 18.26%, Nemotron 3 Diarization은 18.38%였다. David AI 리더보드에는 평가 결과가 공개돼 있다.

VoiceArena의 영어 전체 세션 평가에서는 14개 시스템 가운데 화자 라벨을 맞춘 뒤 계산하는 단어 오류율(cpWER)이 가장 낮았고, 대면과 온라인 조건 모두 1위였다. 삭제된 단어 비율은 기준 전사 단어의 8.32%로, 중앙값 약 31%보다 낮았다. 다만 해당 벤치마크는 영어 전체 세션과 겹쳐 말하기, 2~8명의 화자를 다루며, 제시된 그림의 cpWER은 Nemotron 3.5 Transcribe 32.4%, NVIDIA Multitalker Parakeet과 Nemotron 3 Diarization 조합 34.2%다. VoiceArena 평가 방법과 비교 결과에서 조건을 확인할 수 있다. Ocular AI의 Converse-STT 평가에서도 오픈 모델 중 가장 높은 순위를 기록했고, Josh Talks의 Voice of India 리더보드는 인도 언어별 결과를 제공한다.

모델은 Jetson AGX Thor와 DGX Spark부터 Blackwell 데이터센터 GPU까지 단일 NVIDIA GPU에서 실행된다. NVIDIA RTX PRO 6000 Blackwell Server Edition 한 대에서 NVFP4 정밀도를 사용했을 때, 동시 처리량을 높이고 30초 클립으로 측정한 결과 오디오 100시간을 3분 이내에 처리했다. vLLM으로 서비스하거나 NeMo-Speech.cpp로 로컬 실행할 수 있다. 이 모델은 실시간 스트리밍용이 아니다.

Granary v2 데이터와 처리 파이프라인

Granary v2는 Nemotron 3.5 Transcribe 학습에 사용된 다국어 음성 자료를 준비한 데이터셋이자 재사용 가능한 데이터 정제 파이프라인이다. Hugging Face와 ModelScope에서 확인할 수 있으며, Hugging Face의 Nemotron 음성 컬렉션과 ModelScope의 Nemotron Speech 컬렉션에도 포함돼 있다. NVIDIA NeMo Curator로 구축한 파이프라인은 전사문 형식별 변형, 작업 라벨, 살펴볼 수 있는 품질 메타데이터를 만든다.

공개 매니페스트는 48개 언어와 16개 원본 말뭉치에서 463,062시간을 포괄한다. Granary v1의 25개 언어보다 늘어난 규모다. 이 수치는 공개 데이터셋 릴리스의 범위이며, Nemotron 3.5 Transcribe의 전체 학습 데이터 구성이나 샘플링 가중치를 뜻하지 않는다. 데이터 파이프라인은 같은 발화에 대해 세 가지 전사 형식을 만든다.

이 밖에도 짧은 오디오 설명, 외래어의 코드 전환 복원, 음성에 근거한 질의응답 쌍, 문맥 기반 ASR 편향 용어, 자동 품질 점수가 붙은 번역을 생성한다. 파이프라인은 네 단계로 구성된다.

• 오디오 준비(메타데이터): 원본 또는 장시간 오디오를 구간으로 나누고, 전체 녹음에 걸쳐 화자를 추적하며, 음향 사건과 언어를 표시한다. Granary v2의 원본은 이미 분할돼 있어 이번 릴리스에서는 이 단계를 건너뛰었다.
• 전사(ASR): 언어별로 기본 및 복구용 ASR 모델에 작업을 배정하고, 기본 모델이 환각 검사를 통과하지 못하면 대체 모델을 사용한다. 사람이 작성한 기준 전사문을 활용해 신뢰할 수 있는 표기를 보존하면서 실제 발화 형태와 비유창성을 추가한다.
• 작업 라벨 생성(텍스트): 전사 변형을 만든 뒤 문자 비율, 환각 패턴, 모델 출력과 사람 기준 전사문의 일치 여부를 검사한다. 검사를 통과한 자료에만 문맥 기반 ASR 용어와 번역을 붙인다.
• 고충실도(HiFi): 잡음이 있거나 잘렸거나 여러 화자가 포함된 구간을 제외해 ASR 이외의 용도에 쓸 고품질 녹음의 소규모 하위 집합을 만든다. VoxPopuli에서는 22개 유럽 언어의 354,000시간을 111,000시간으로 줄였다.

개발자는 Granary v2 파이프라인을 Ray 및 NVIDIA Dynamo 백엔드와 함께 사용해 자체 녹음이나 사용 권한이 있는 공개 말뭉치를 처리할 수 있다. 또는 공개 매니페스트를 바탕으로 작업할 수 있다. 매니페스트에는 tn_raw, itn_raw, itn_clean 세 가지 전사 형식과 앞서 설명한 라벨, 개체 힌트, 생성된 지시문 쌍, 출처 정보, 레코드별 품질 표시가 포함된다. 원본 오디오는 각 말뭉치의 원래 라이선스에 따라 별도로 내려받아야 하며, 공개된 이용 조건을 따라야 한다.

도메인 용어에 맞게 조정하기

우선 개발 세트에 사용할 프롬프트에서 언어, 문자 체계, 전사 형식을 지정할 수 있다. 사례 연구에서는 영어와 라틴 문자를 명시해 전체 벤치마크 WER을 30.8%에서 23.8%로 낮췄다. 프롬프트만으로 해결되지 않는 도메인 오류에는 대표 음성과 명시적인 표기 목표를 짝지어 NeMo Speech로 미세 조정하는 방법을 제시했다.

의료 ASR 사례 연구는 인도 의사와 의대생의 녹음으로 구성된 Eka Care 공개 벤치마크를 사용했다. 데이터셋은 3,619개 클립으로 구성되며 지정된 학습 분할은 없다. 연구에서는 생성한 의료 텍스트와 공개 의약품 목록을 바탕으로 적응 데이터를 만들고, 합성 음성 약 153시간, Common Voice의 억양이 있는 영어 29시간, MultiMed의 의료 녹음 63시간을 결합했다.

합성 데이터에서는 표기 목표와 음성 합성기에 전달하는 발음 표현을 분리했다. 예를 들어 표기 라벨은 “HbA1c”로 두고, 음성 합성기에는 “H B A one C”를 전달했다. 여러 TTS 음성으로 오디오를 다양화하고, 실제 녹음으로 억양과 녹음 환경을 보완했다. 학습 텍스트는 벤치마크 기준 전사문과 정확히 일치하거나 8개 단어가 연속으로 겹치는 경우를 필터링했다.

학습 예시는 숫자, 단위 간격, 회사명 확장, 브랜드명 하이픈 표기를 달리하고, 어떤 형식을 써야 하는지 지시문으로 지정했다. 일부 프롬프트에는 비슷하지만 틀린 용어를 방해 항목으로 넣어 오디오가 뒷받침할 때만 해당 표기를 사용하도록 했다. 최종 시스템은 고정된 규칙 프롬프트 하나와 모델 실행 한 번으로 구성되며, 검색이나 전사 후처리를 사용하지 않았다.

학습에서는 음성 인코더와 투영층을 조정하고, 언어 모델에는 LoRA를 적용했다. 데이터 혼합을 달리한 두 번의 학습 뒤 어댑터를 병합하고, 선택한 체크포인트를 동일한 가중치로 평균 내 최종 모델을 만들었다. 체크포인트는 학습 손실만이 아니라 개발 세트에서 디코딩한 결과를 기준으로 골랐다. 텍스트 생성부터 평가까지 전체 적응 과정은 NVIDIA GB300 한 대에서 약 14 GPU시간이 걸렸다.

화자 분리 평가와 일반 음성 성능

벤치마크는 화자 기준으로 조정용 855개 클립과 보류 2,764개 클립으로 나뉘었다. 조정용 세트는 프롬프트와 체크포인트 선택에 사용했고, 보류 세트는 최종 시스템마다 한 번씩 디코딩했다. Eka Care의 KARMA 평가 파이프라인으로 계산한 보류 세트 WER은 최선의 프롬프트만 적용한 기준 모델이 22.44%, 미세 조정 모델이 12.17%였다. 상대적으로 45.8% 감소한 결과다. 키워드 WER은 9.2%에서 6.5%로, 의미 WER은 10.0%에서 7.6%로 낮아졌다.

같은 보류 화자와 평가 도구를 사용했을 때 미세 조정 모델의 WER 12.17%는 공개 의료 전문 모델의 13.79%, 널리 쓰이는 범용 ASR 모델의 14.92%보다 낮았다. 반면 일반 영어 LibriSpeech test-clean의 WER은 1.54%에서 1.69%로 소폭 높아졌다. 의료 전문 모델은 브랜드 의약품과 진단명 정확 일치에서는 여전히 앞섰다. 사례 연구는 다음 단계로 임상의가 브랜드명을 말하는 실제 녹음을 추가하는 방안을 들었다.

자체 도메인에 적용할 때는 체크포인트를 고르기 위해 실제 라벨이 있는 클립을 최소 100개 확보하고, 일반 음성 성능 유지와 함께 애플리케이션에 중요한 개체 유형을 평가하라고 권한다. 미세 조정 튜토리얼은 학습·내보내기·평가를 위한 레시피와 자원 요구 사항, 새로운 언어 및 코드 전환 ASR 도구를 다룬다. 에이전트 스킬은 기준 모델 선택과 데이터 검사부터 학습 검증, 어댑터 병합, 평가까지 코딩 에이전트가 작업하도록 하는 도구다. ModelScope의 ms-swift 프레임워크로도 전문 멀티모달 애플리케이션을 위해 모델을 미세 조정할 수 있다.

체험과 배포 자료

모델은 Hugging Face 데모에서 체험할 수 있다. 체크포인트를 내려받아 vLLM 배포 안내에 따라 자체 호스팅하거나, Baseten과 DeepInfra의 호스팅 엔드포인트를 이용할 수 있다. 도메인 적응에는 Granary v2 매니페스트와 의료 ASR 사례 연구, 또는 미세 조정 에이전트 스킬을 활용할 수 있다.

데이터 자료로는 Granary v2 매니페스트와 고충실도 하위 집합, 관련 Hugging Face 공간이 제공된다. 구현 자료는 NVIDIA NeMo Speech 저장소와 NeMo Curator 파이프라인에서 확인할 수 있다. 관련 파트너 사례로는 Inflection AI, Simplismart, DeepInfra의 글이 소개됐다.