TL;DR

  • 전사 품질이 갑자기 낮아진 듯 느껴질 때는 모델보다 오디오 변화가 원인인 경우가 훨씬 많으며, 마이크와 주변 환경을 점검하면 대부분 해결 가능함.
  • Wispr Flow는 새 모델 변경을 검증하고 단계적으로 배포하며, 실제 성능 저하가 발견되면 되돌리는 방식임.
  • 블루투스 마이크, 주변 소음, 말하는 방식, 낮은 입력 음량, 잘못 선택된 마이크가 전사 정확도 저하의 흔한 원인임.
  • 앱 재시작, 녹음 오디오 확인, 더 또렷하게 말하기, 입력 음량 점검, 기록에서 재시도, 사전 크기 조정이 주요 해결 절차임.
  • 녹음 파일에는 전체 음성이 있는데 전사 일부가 빠졌거나 재시도로 누락 문구가 복구되면 심각한 소프트웨어 문제로 우선 처리함.

전사 품질이 갑자기 달라지는 이유

  • Wispr Flow 내부에서도 전날에는 전사가 훌륭하다가 다음 날 갑자기 이상하게 느껴지는 상황이 여러 차례 있었음.
  • 이런 변화가 생겼을 때 모델 자체가 원인인 경우는 드물며, 훨씬 흔한 원인은 오디오 변화임.
  • 전사를 신뢰할 수 없으면 말하기가 타이핑보다 빨라지지 않으므로, 정확도가 무엇보다 중요함.

모델을 몰래 낮추지 않음

  • 새 모델은 변경 사항마다 검증하고, 점진적으로 배포하며, 면밀히 관찰함.
  • 실제 성능 저하가 보이면 변경 사항을 되돌림.
  • 비용 절감을 위해 품질이 낮은 모델로 바꾸거나 절차를 생략하지 않음.
  • 100개가 넘는 언어에서 속도와 정확도를 개선하기 위한 실험을 계속하며, 실험 과정에서 간혹 특수한 사례가 드러날 수 있음.
  • 사용자 제보는 이러한 사례를 파악하는 데 중요함.

전사 품질을 떨어뜨리는 오디오 문제

  • 화상 회의나 전화 통화에서 상대가 “잘 안 들려요”라고 하는 상황과 근본 원리가 같음. Wispr Flow가 여전히 쓸 만한 결과를 내는 경우도 있지만 정확도는 떨어질 수 있음.
  • 흔한 원인은 다음과 같음.
  • 마이크 변경: AirPods 같은 블루투스 마이크는 음질이 더 나쁠 수 있고, 발화의 시작이나 끝이 잘려 단어가 빠지거나 잘못 전사될 수 있음.
  • 환경 변화: 배경 소음이나 가까운 대화 때문에 모델이 의도하지 않은 말을 포착할 수 있음.
  • 말하는 방식의 변화: Flow에 익숙해지면서 중얼거리거나 더 작은 목소리로 말하고, 잠이 덜 깬 상태나 구부정하거나 누운 자세로 받아쓰는 일이 생길 수 있음. 개인적으로도 피곤하거나 작은 목소리로 말할 때 결과가 더 나빠지는 것을 경험함.
  • 눈에 잘 띄지 않는 시스템 설정: 내부에서 모델 고장으로 오인한 가장 오래된 사례 중 하나는 macOS 마이크 입력 음량이 너무 낮게 설정된 문제였음. 오디오는 듣기에 괜찮았지만 미묘하게 왜곡된 상태였음.
  • 잘못 선택된 마이크: 블루투스 이어폰이 주머니 안에 있어도 연결될 수 있음. 이때는 오디오가 거의 없으며, Wispr Flow가 터무니없는 환각을 만들어 내기도 함.
  • 이런 상황은 실제 모델 변경이 없는데도 “인공지능이 나빠졌다”는 인상을 줄 수 있음.

나쁜 오디오가 들리는 방식

  • 팀에서 녹음한 실제 오디오 예시를 들으면 잘리거나 왜곡된 음성에서 성능이 뛰어난 모델조차 왜 어려움을 겪는지 더 쉽게 알 수 있음.

대개 효과가 있는 해결 방법

  • 더 근본적인 문제를 의심하기 전에 다음 절차를 시도하면 확인된 문제의 대부분이 해결됨.
  • 앱을 강제 종료한 뒤 다시 시작: 통화를 끊고 다시 걸면 마이크 문제가 해결되는 경우처럼, Wispr Flow를 재시작하면 오디오 상태가 초기화될 수 있음.
  • 녹음된 오디오 듣기: 데스크톱 앱에서 기록으로 이동해 점 세 개 메뉴를 누르고 오디오를 내려받아 재생함. 소리가 왜곡되거나 잘리거나 유난히 작으면 앱을 다시 실행하거나 마이크를 바꿈.
  • 조금 더 크고 또렷하게 말하기: 음성을 조금 더 힘주어 다시 받아쓰기하는 것만으로도 큰 차이가 날 수 있음.
  • 마이크 입력 음량 확인: 특히 macOS에서 마이크 입력 음량이 매우 낮아질 수 있음. 귀에는 괜찮게 들려도 전사 품질을 떨어뜨릴 정도로 왜곡된 오디오일 수 있음.
  • 기록에서 전사 재시도: 재시도로 문제가 해결되면 일시적인 오디오 압축과 관련됐을 가능성이 있으며, 모바일 네트워크에서 특히 나타날 수 있음. 이 문제는 개선 작업이 진행 중임.
  • 사전 크기 확인: 매우 큰 사전은 정확도를 떨어뜨릴 수 있음. 수백 개나 수천 개의 특수 단어를 설정하면 모델이 언제 해당 단어를 적용할지 판단하는 부담이 커짐. 이름이 이상하게 바뀌거나 과도하게 수정되는 경우 가장 중요한 용어만 남기고 사전을 줄인 뒤 필요할 때 단어를 다시 추가함.

피드백이 개선에 도움이 되는 방식

  • 이러한 문제를 앱에서 직접 표시하고 자동으로 감지하는 방안을 마련하는 중임.
  • 전사 정확도가 기대보다 낮을 때 전사 피드백을 제출하면 반복되는 패턴을 파악하고 성능 저하를 더 빠르게 발견하는 데 실질적인 도움이 됨.
  • 모든 전사 피드백에 개별 답변을 할 수는 없지만, 피드백을 모두 면밀히 검토하고 모델을 지속적으로 개선하는 데 활용함.

실제 버그인 경우

  • 다음 중 하나에 해당하면 심각한 소프트웨어 문제로 간주하고 높은 우선순위로 처리함.
  • 전사의 일부가 빠졌지만 오디오를 내려받으면 전체 음성이 들어 있는 경우.
  • 전사를 재시도했을 때 빠진 문구가 복구되는 경우.
  • 지원팀에 문의할 때는 앱이나 지원 포털을 이용하고, 앱 내 문의에서는 기록에 있는 해당 전사를 포함하며 위의 해결 절차를 시도했음을 알려야 함. 그러면 문제를 훨씬 빠르게 처리할 수 있음.

정확도 개선을 위한 지속적인 작업

  • 연구팀은 실제 환경의 어려운 조건에서 전사 정확도를 높이는 데 전념하고 있음.
  • 정확도를 희생하면 전사를 빠르게 만드는 일은 쉬움. 하지만 편집에 드는 시간은 몇 분의 일 초를 더 기다리는 시간보다 훨씬 크므로 이러한 절충은 하지 않음.
  • 불완전한 환경에서도 말한 내용을 정확히 전사할 수 있는 미래를 만들고 있으며, 목표에 도달할 때까지 계속 개선해 나갈 계획임.