구글 딥마인드는 수어를 영어 텍스트로 바꾸는 모델 SL2T를 공개했다. 이 모델은 미국 수어(ASL) 입력을 영어로 옮기며, Pixel 11의 Gboard와 Live Transcribe에서 먼저 제공된다. 추가 기기와 수어는 추후 지원할 예정이다.
사용자는 평소 글자를 입력하는 곳에서 수어로 웹을 검색하고 메시지나 문서를 작성할 수 있다. Gemini에 질문하거나 작업을 요청하는 데도 쓸 수 있고, Live Transcribe에서는 대화에 글자를 입력하는 대신 수어로 응답할 수 있다. 구글 딥마인드에 따르면 이 기능은 추가 비용 없이 제공된다.
SL2T는 50개가 넘는 수어의 10만 시간 이상 데이터를 학습했으며, 데이터의 약 4분의 1은 ASL이다. 원본 카메라 영상 대신 기기 내 MediaPipe Holistic이 추적한 신체 부위의 좌표만 서버로 보내 번역한다. 구글 딥마인드는 번역 뒤 원본 영상은 즉시 폐기된다고 설명했다. MediaPipe Holistic 설명
구글 딥마인드는 FLEURS-ASL 벤치마크의 ASL-영어 번역 평가에서 SL2T가 제로샷 점수 70 BLEURT를 기록했으며, 이전에 보고된 점수보다 크게 높다고 밝혔다. 다만 드문 수어, 빠른 손가락 철자, 수동 표현, 분류사 표현, 문맥이 필요한 시제에서 오류가 남아 있다. 구글 딥마인드는 실제 사용을 위해 스트리밍 지연을 줄이고, 수어가 아닌 입력에서 환각을 막으며, 왼손 사용자와 한 손 수어의 성능을 개선하는 작업도 진행했다고 밝혔다. FLEURS-ASL 데이터셋
개발 과정에는 농인 커뮤니티가 참여했다. 구글 딥마인드는 농인 구글 직원 샘 세파(Sam Sepah)의 초기 구상부터 데이터 수집, 사용자 연구, 기술 영향 평가까지 농인 당사자의 관점이 반영됐다고 밝혔다. 책임 있는 배포를 위해 여러 국제 농인 단체와 전문가가 참여하는 AI Sign Language Advisory Committee도 구성했다. SL2T 1.0의 기능과 현재 한계를 담은 공동 영향 보고서도 공개했다.
SL2T는 Pixel 11의 Gboard와 Live Transcribe에서 이용할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요