블레이크 라 피에르(Blake La Pierre)는 뉴스레터 글을 팟캐스트와 영상으로 만들고, 문장별 음성 인식과 재녹음으로 오독을 고치는 AI 음성 복제 방식을 적용했다. GPU 없이 8코어 CPU와 메모리 15GB 환경에서 작업했으며, 새 음성은 앞으로 공개할 에피소드와 영상에 사용한다.
2026년 10월 27일 공개된 글에 따르면, 뉴스레터 글 하나를 팟캐스트 에피소드 하나로 만들고 다음 글을 예고하도록 했다. 에피소드 1~8은 Substack 팟캐스트 피드에 올라왔지만 이메일로 보낸 것은 1화뿐이다. 나머지는 웹에서 들을 수 있으며 Spotify에도 프로그램을 추가했다. 초기 8개 에피소드는 오픈소스 음성 모델 Kokoro의 기본 음성 ‘Fenrir’로 읽었다.
영상에는 프로그램 이미지와 움직이는 파형, 화면에 고정된 자막, 글의 각 부분을 나타내는 삽화, 들으면서 내용을 훑어볼 수 있는 핵심 요점 사이드바를 넣었다.
음성 복제는 여러 후보를 비교하며 진행했다. Chatterbox를 사용한 첫 시도는 마음에 들지 않아 Fenrir로 돌아갔다. 다음에는 Fenrir를 중심으로 Eric과 Adam 음성을 조금씩 섞은 Kokoro 음성과 53개 단어·4개 구절의 발음 사전을 만들었다. 이 사전은 두문자어를 풀어 읽고 시각을 올바르게 발음하며 ‘La Pierre’를 제대로 읽도록 했다.
이후 휴대전화로 직접 읽은 13분 32초짜리 녹음을 제공했다. 녹음에는 120Hz 잡음이 강하게 들어 있었고, 정리한 뒤 사용할 수 있는 분량은 약 10.6분이었다. 이를 토대로 짧은 음성 샘플을 이용한 Chatterbox Turbo 복제본(A), 기본 Chatterbox 복제본(B), Fenrir 낭독을 자신의 목소리처럼 변환한 버전(D) 등을 비교했다. A와 B는 본인 목소리와 비슷했지만 가끔 단어를 잘못 읽었고, D는 발음이 정확했지만 본인 목소리와 덜 닮았다.
최종 선택한 A+는 15초 음성 샘플로 문장을 하나씩 읽는다. 음성 인식 모델이 결과를 대본과 비교하고, 내용이 다르면 난수 시드를 바꿔 최대 4회까지 다시 생성한다. 어려운 단어에는 발음을 유도하는 철자 목록을 적용한다. ‘Kokoro’를 ‘Ko-ko-ro’로 적었더니 복제 음성이 ‘Coco Rowe’라고 읽은 사례가 있어 그 표기는 제외했다. A+로 에피소드 하나를 만드는 데는 약 한 시간이 걸린다. 비교 대상인 D+는 약 20분이 걸렸지만, 라 피에르는 품질을 택했다.
작업은 GPU 없이 8코어와 메모리 15GB를 갖춘 컴퓨터에서 이뤄졌다. 두 모델을 동시에 돌리면 메모리 부족으로 작업이 중단돼 한 번에 하나의 모델만 실행하고, 스레드 수를 제한하며, 중단 지점부터 재개할 수 있도록 체크포인트를 사용했다. 처음부터 음성을 학습할 여건이 되지 않아 기존 모델을 복제하고 섞었다. 사용한 모델은 MIT 또는 Apache 라이선스였으며, Chatterbox는 AI 생성 음성임을 식별할 수 있는 비가청 워터마크를 추가한다.
이미 공개된 에피소드의 오디오는 Substack에서 교체할 수 없어 2~8화는 계속 Fenrir 음성으로 남는다. 라 피에르는 2화를 A+로 다시 제작하고 있으며, 새 에피소드와 영상에는 복제한 목소리를 사용할 예정이다. 프로그램 도입부에서도 AI 에이전트가 글을 만들고 AI 목소리가 읽는다고 밝힌다.
라 피에르는 자신의 경험을 통해 목소리가 본인과 비슷한지와 대본을 정확히 읽는지는 별개의 기준이며, 문장별 확인과 재녹음 절차가 오독을 잡는 데 쓰였다고 설명했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요