오디오 의사결정 모델은 음성 AI의 다음 행동을 고른다

오디오 의사결정 모델은 통화 음성을 듣고 발화가 끝났는지, 어떤 언어를 쓰는지, 개인정보를 말하는지 같은 질문에 확률을 붙여 답한다. 음성 AI를 만드는 팀은 여러 도구에 흩어진 잦고 시간에 민감한 판단을 한 모델에 맡길 수 있다.

오디오 의사결정 모델이란

모델에 들어가는 것은 세 가지다. 실시간 오디오 스트림이나 녹음, 평이한 말로 쓴 질문, 그리고 질문에 맞춰 정한 가능한 답이다. 예를 들어 “발신자가 말을 끝냈나?”라는 질문에는 예·아니요로, “어떤 언어인가?”에는 선택지와 확률로, “얼마나 답답해하는가?”에는 1~5점 점수로 답할 수 있다. 답마다 확률이 붙으므로 실제로 행동할 만큼 확신이 있는지는 코드에서 정한다.

핵심은 질문도 입력으로 받는다는 점이다. 음성 활동 감지기(VAD)는 보통 소리가 말인지 아닌지처럼 고정된 질문에 답하고, 감정 분류 모델도 감정 분류만 한다. 반면 오디오 의사결정 모델은 요청할 때 질문을 받으므로 같은 모델이 같은 오디오에 대해 발화 순서, 언어, 답답함을 각각 판단할 수 있다. 새 판단이 필요할 때마다 새 모델을 만드는 대신 새 질문을 제시한다.

텍스트만으로 판단하지 않는 이유

많은 음성 시스템은 먼저 음성을 텍스트로 바꾼 뒤 모든 판단을 텍스트에 맡긴다. 그러나 전사 과정에서 판단에 필요한 정보가 사라질 수 있다.

“그래요”가 동의인지, 망설임인지, 무관심한 반응인지는 억양과 말하는 속도, 머뭇거림에 달려 있다. 이런 특징은 전사문에 남지 않는다. 전사문은 여러 목소리를 한 줄로 평평하게 만들어 통화 상대와 방 안의 다른 사람, TV 소리를 구분하지 못할 수도 있다. 한숨과 웃음, 긴 침묵, 음성사서함 신호음, 아기 울음, 끊기는 통화처럼 단어가 아닌 소리도 빠진다.

시간도 중요하다. 전사문은 말이 나온 뒤에 만들어지고 텍스트 모델의 처리 시간도 더해진다. 원문은 대화 차례 사이의 간격이 약 200ms라고 설명한다.

오디오 의사결정 모델은 답변을 작성하지 않으며 LLM을 대체하지도 않는다. Tazo는 이 모델이 기존 시스템 옆에서 LLM이 듣지 못하거나 처리하기에 느린, 빈번하고 시간에 민감한 판단을 맡는다고 설명한다. 음성 AI 시스템에 빠진 이 계층에 관한 내용은 음성 AI 스택의 빠진 부분에서 다룬다.

음성 에이전트가 판단할 수 있는 일

오디오에 관한 질문을 짧은 답변 목록으로 표현할 수 있다면 판단 대상으로 삼을 수 있다. 음성 에이전트의 질문은 크게 다음과 같은 영역에 걸친다.

• 대화 차례: 소리가 말인지, 기침·키보드·TV 소리인지 판별하고 발신자가 말을 끝냈는지 판단한다. “제 계좌번호는… 어…”처럼 생각을 잇는 중이면 기다리고, “몇 시에 문을 닫나요?”처럼 질문이 끝났으면 바로 답하는 식이다. 에이전트가 말하는 중에 “음음”은 계속 말해도 된다는 신호일 수 있지만 “잠깐, 아니요”는 멈추라는 뜻일 수 있다. 긴 설명 중 에이전트가 적절한 때에 맞장구를 치거나, 통화 종료 신호를 알아채는 것도 포함된다. 자세한 내용은 지금 필요한 것을 질문하기에서 확인할 수 있다.
• 통화 상대와 언어: 첫 순간부터 언어를 알아내 적절한 STT와 TTS를 선택하고, 한 문장 도중 언어가 바뀌는 것도 감지할 수 있다. 통화 상대와 에이전트, 스피커폰을 통해 말하는 제3자를 구분하거나, 상대가 에이전트에게 말하는 중인지 주변 사람에게 말하는 중인지 판단하는 데도 쓸 수 있다. 아웃바운드 통화에서는 사람이 받았는지, 음성사서함이나 자동응답 시스템(IVR)인지, 보류 음악 뒤에 사람이 돌아왔는지를 가려낼 수 있다. 소음이나 불량한 연결, 차량 내 스피커폰 같은 통화 환경을 파악해 답변을 짧게 하거나 숫자를 두 번 읽어주고 링크를 문자로 보내는 대응도 가능하다.
• 도구 호출 시점: LLM은 어떤 도구를 부를지 정하지만, 발신자가 호출에 필요한 말을 충분히 했는지 또는 “네”가 실제 동의인지 판단하기 어렵다. 오디오 의사결정 모델은 질문이 완성되고 최신 정보가 필요한 경우 발신자가 말을 멈추기 전에도 웹 검색을 시작하도록 도울 수 있다. 주문번호를 끝까지 말했고 마지막 숫자가 망설임 없이 마무리된 것을 확인한 뒤 get_order_status를 호출하는 식의 안전한 조회도 가능하다. 이른 도구 호출의 개념은 음성 AI의 추측성 도구 호출에서 설명한다. 예약, 주소 변경, 환불처럼 데이터를 쓰는 작업에서는 “아마도요” 같은 모호한 반응을 확인으로 간주하지 않아야 한다. 계산이나 작업 흐름 실행, 문자 발송, 결제 시작, 전문 상담 부서로의 전화 연결 여부도 판단 대상이다.
• 통화 상대의 감정과 상태: 차분함, 혼란, 짜증, 분노, 만족을 매 대화 차례마다 살펴보면 상황이 진행되는 동안 속도를 늦추거나 사과하고 설명을 단순화할 수 있다. 1~5점 답답함 점수는 단순한 감정 라벨보다 유용할 수 있다. 예를 들어 같은 요청을 두 번 반복한 4점 상태에서는 대응을 바꿀 필요가 있다. 긴 침묵이나 망설이는 “알겠어요…?”를 혼란의 신호로 보고 다시 설명할 수도 있다. 감정과 혼란을 종합해 상대가 먼저 사람을 요청하기 전에 상담원에게 연결하거나, 의료·보험·응급 전화에서 말의 내용과 관계없이 괴로워하는 목소리를 우선 처리할 수도 있다.
• 신뢰·개인정보·안전: 카드번호, 생년월일, 신분증 번호를 말하기 시작하면 마지막 숫자가 나오기 전에 녹음을 멈추고 전사문을 가리며 로그에서 제외하는 방식이 제시된다. 데이터베이스의 선택지를 읽어준 뒤 상대가 어떤 값을 말했는지 고르는 방식으로 정보를 확인할 수도 있다. 다시 읽어준 내용을 상대가 확인했는지, 녹음이나 약관에 실제 동의했는지도 판단할 수 있다. “4-8-2-1… 아니, 4-8-1-2”처럼 스스로 고친 숫자를 잡아내면 잘못된 값이 양식이나 도구로 넘어가는 것을 막을 수 있다. 목소리가 실제 사람인지 녹음이나 복제 음성처럼 들리는지는 추가 확인을 위한 신호로 다뤄야 하며, 증거로 간주해서는 안 된다.
• 통화 후 분석: 녹음에 같은 모델을 적용하면 속도보다 분석 범위가 중요해진다. 통화 결과를 판매, 콜백, 관심 없음, 잘못 건 번호, 수신 거부 등으로 분류하고, 상담원이 신원을 확인했는지·문제를 해결했는지·통화를 제대로 마무리했는지 평가할 수 있다. 전체 통화가 아니라 2% 표본만 평가하는 대신 모든 통화를 점수화하는 활용도 제시된다. 필수 녹음·준수 안내를 실제로 했는지, 콜백이나 환불을 약속했는지, 통화 종료 시 상대의 만족도가 어땠는지도 확인할 수 있다.

확률과 도입 방법

판단마다 실수의 비용은 다르다. 민감하지 않은 번호를 가리는 데 드는 비용은 없을 수 있지만, 중얼거리는 “네”를 동의로 보고 환불하면 비용이 발생한다. 따라서 행동별로 필요한 확신의 기준을 따로 정해야 한다.

이를 위해서는 확률이 보정돼 있어야 한다. 모델이 0.8이라고 답한 경우 실제로 약 80% 맞아야 임곗값을 의미 있게 사용할 수 있다. 원문은 보정된 확률을 바탕으로 재학습 없이 행동별·고객별·사용 사례별 임곗값을 조정할 수 있다고 설명한다.

도입할 때는 먼저 현재 에이전트가 내리는 판단과 그 판단에 쓰이는 타이머, 정규식, LLM 프롬프트, 별도 모델을 목록으로 만든다. 그중 발신자 말을 끊는 문제, 상담원 연결을 놓치는 문제, 도구 호출이 늦는 문제처럼 영향이 큰 항목부터 질문과 고정된 답변으로 정리한다. 고정 답변으로 표현하기 어렵다면 LLM에 맡길 문제일 수 있다.

이후 기존 로직과 나란히 섀도 모드로 실행해 실제 통화에서 결과를 비교하고, 판단별 임곗값을 정한다. 데이터를 쓰거나 통화를 끝내는 행동은 엄격한 기준에서 시작하라고 원문은 권한다.

Tazo는 이 접근을 “오디오와 질문을 입력하면 행동에 쓸 수 있는 답을 얻는 것”이라고 설명한다. 전사문은 무슨 말을 했는지 알려주고, 오디오 의사결정 모델은 그 말에 어떻게 대응할지 알려준다는 것이 핵심이다. Tazo에 관한 내용은 회사 사이트에서 볼 수 있다.