ThyVoice가 여러 회의의 화자 식별 평가에서 가장 낮은 오류를 기록했다

ThyVoice는 여러 회의에서 화자 정체성을 일관되게 유지하는 평가에서 비교한 상용 시스템보다 낮은 오류를 기록했다. 연구진은 이 평가법을 제시하고, 회의 기록을 장기간 재사용하는 시스템에서 화자 식별을 따로 평가해야 한다고 주장한다.

여러 회의에서 화자를 어떻게 평가했나?

화자 분리(speaker diarization)는 녹음에서 누가 언제 말했는지 나누는 작업이다. 이 연구는 여기에 여러 회의에 걸쳐 같은 사람에게 같은 화자 식별자를 부여하는지를 더해 평가했다. 회의 기록을 쌓아 두고 나중에 활용하는 음성 기록 시스템에 관련된 문제다.

평가 지표인 SI-cpWER는 전체 회의 묶음에 하나의 화자 식별자 대응을 적용해 점수를 낸다. 회의마다 익명 화자 번호를 따로 바꾸는 방식으로는 측정하기 어려운, 회의 간 정체성 유지 여부를 평가한다. 여러 회의의 발언자 이름표를 한 벌로 맞춰 보는 일에 빗대면 이해하기 쉽다. 실제 지표는 화자 식별자 대응을 전체 자료에 걸쳐 고정해 점수를 계산한다.

어떤 자료와 시스템을 비교했나?

연구진은 129개 회의로 구성된 CHiME-8 NOTSOFAR 평가 자료 전체를 깨끗한 조건과 잡음을 추가한 조건에서 평가했고, CHiME-6도 포함했다. 비교 대상은 상용 화자 분리 후 식별 시스템 5개, 공개 학술 기준 시스템 2개, 그리고 연구진의 종단 간 기준 시스템 ThyVoice다.

세 가지 조건 모두에서 ThyVoice의 SI-cpWER는 평가한 상용 시스템 각각보다 낮았다. 전체 비교 대상의 평균에서도 ThyVoice가 47.13으로 가장 낮았고, 다음 시스템은 54.75였다. 연구진은 ThyVoice가 겹쳐 말하는 구간을 보정하고, 음성 특징을 생성·갱신할 때 사용할 근거를 제한한다고 설명한다.

결과는 어디까지 보여 주나?

연구진은 단어 오류, 화자 분리, 녹음별 화자 식별, 화자 군집화 진단도 함께 제시해 최종 기록에 이르는 오류 요인을 살폈다. 초록에 공개된 결과는 ThyVoice와 비교 시스템의 평가 결과이며, 연구진은 이를 장기간 대화 기록에 쓰이는 시스템에서 지속적인 화자 식별을 직접 평가해야 한다는 근거로 제시한다.

자세한 내용은 논문과 PDF에서 확인할 수 있다. 초록은 각 조건의 개별 점수와 평가 설정의 세부 사항, 결과의 재현 여부를 밝히지 않는다.