원문 캡처 · github.com
원문 캡처 · github.com

AnyCaptions는 윈도우 PC에서 재생되는 게임·영상·통화 등 앱의 오디오를 실시간으로 자막화하고 번역하는 데스크톱 앱이다. 음성 인식과 번역을 PC에서 처리하며, 설치 후에는 오프라인에서도 작동한다고 안내한다. 웹사이트와 다운로드에서 앱을 받을 수 있다.

앱은 마이크나 가상 오디오 케이블 대신 WASAPI 루프백으로 시스템 오디오를 받아들인다. 출력 장치를 선택하면 화면 위에 자막 창이 표시된다. 음성 언어를 자동 감지해 37개 언어로 번역하며, 영어와 포르투갈어 번역은 CPU에서 문장당 약 90ms로 처리한다고 설명한다. 전체 37개 언어 번역 모델은 GPU에서 실행된다.

자막 창은 투명하게 설정할 수 있고, 잠금 상태에서는 창을 클릭해도 클릭이 아래 앱으로 전달된다. 창은 시스템 트레이나 전역 단축키 Ctrl+Alt+L로 다시 열 수 있으며, 단축키를 변경할 수 있다. 음성 받아쓰기도 지원해 말한 내용을 현재 사용하는 앱에 입력할 수 있다. 자막 크기·색상·너비·위치를 조정할 수 있고, 앱 인터페이스는 브라질 포르투갈어·영어·스페인어·프랑스어·러시아어·간체 중국어를 지원한다.

제작자는 앱에 기록·텔레메트리가 없고 인터넷으로 데이터를 보내지 않는다고 설명한다. 번역 모델은 앱 안에서 내려받으며 크기는 2.8GB다. 나머지 모델은 설치 프로그램에 포함된다.

모델용도실행 환경제공 방식
NVIDIA Nemotron 3.5 ASR Streaming 0.6B문장부호·문장 종료·언어 감지를 포함한 실시간 음성 인식GPU(Vulkan), CPU 대체 실행설치 프로그램에 포함
NVIDIA Riva Translate 4B Instruct v237개 언어 번역GPU앱에서 다운로드(2.8GB)
Helsinki-NLP OPUS-MT영어↔포르투갈어 고속 번역CPU설치 프로그램에 포함

음성 인식에는 NeMo-Speech.cpp, OPUS-MT 실행에는 CTranslate2를 사용한다. 모델 라이선스는 Nemotron의 OpenMDW-1.1, Riva Translate의 NVIDIA Open Model License, OPUS-MT의 CC-BY-4.0이다.

소스에서 빌드하려면 stable Rust(x86_64-pc-windows-msvc, 1.90 이상), Windows SDK를 포함한 Visual Studio C++ 도구, WebView2, Node 24.15 이상이 필요하다.

npm.cmd --prefix frontend ci
npm.cmd --prefix frontend run tauri -- dev

모델과 추론 라이브러리는 컴파일에는 필요하지 않지만 음성 인식과 번역에는 필요하다. 자세한 안내는 모델 설명서를 참조하면 된다.