원문 캡처 · github.com
원문 캡처 · github.com

H3를 적용하자 남성과 여성의 모습은 바뀌었지만, 원본 영상의 장면은 일곱 개에서 여섯 개로 줄었다. 영상 길이도 약 6초에서 약 6.58초로 늘었다.

LipSyncTool의 두 사람 영상 교체 기능을 만들며 Kling, Seedance, H3를 시험한 개발 기록이다. 사진 두 장으로 영상 속 인물 둘을 바꾸려는 개발자라면, 생성이 성공했다는 응답과 실제 결과물의 품질을 따로 확인해야 한다는 점을 살펴볼 만하다.

이 기능은 무엇을 하려 했나?

Rumpelstiltskin 기능은 사진 두 장을 올려 템플릿 영상 속 춤추는 사람과 구경꾼을 각각 바꾸면서, 원본의 움직임과 장면, 음악은 유지하려는 기능이다. 영상 편집의 특정 인물 교체에 빗대면, 등장인물을 바꾸되 촬영본의 나머지는 보존하려는 작업이다. 하지만 시험에서는 인물 교체와 장면·음악 보존이 서로 다른 과제로 드러났다.

Kling은 두 사람을 모두 바꿨나?

처음에는 직접 만든 8초짜리 헛간 템플릿을 Kling O3 Edit로 시험했다. 남성 무용수는 바뀌었지만 여성 구경꾼은 거의 변하지 않았다. 여성만 바꿔 보았을 때는 얼굴과 머리카락이 달라졌지만, 참고 사진의 검은색 목선도 원래 드레스에 옮겨졌다.

이후 AIGenTools의 6초 템플릿으로 다시 시험해도 남성은 눈에 띄게 바뀌었지만, 여성의 클로즈업 두 장면은 교체 기준을 충족하지 못했다. 음악은 비교적 잘 보존됐지만 장면 전환 시점은 어긋났다.

실제 요청도 확인했다. 두 사진이 모두 업로드됐고, 자산 URL에 접근할 수 있었으며, 업체가 반환한 영상도 저장했다. 파일이 누락되거나 잘못 저장된 문제는 아니었다.

정확한 원인은 밝혀내지 못했다. 이 API는 참고 사진과 영상 속 인물의 대응을 주로 프롬프트에 맡겼고, 특정 인물을 지정하는 식별자나 마스크는 제공하지 않았다. 여성의 클로즈업은 각각 약 0.6초에 불과했고 손으로 얼굴을 가리고 있어 교체가 어려웠을 가능성이 있다. 다만 고정 카메라 템플릿에서도 실패했으므로 장면 전환만 원인으로 볼 수는 없다.

인물마다 참고 사진도 한 장뿐이었다. 같은 이미지를 추가로 넣어도 새 각도가 더해지지 않았다. 입력 자료의 약점일 수 있지만, 이것이 실패의 근본 원인이라는 점을 통제된 시험으로 확인하지는 못했다.

Seedance 결과는 무엇을 보여줬나?

Seedance 2.0 Fast는 다른 10초 템플릿으로 영상을 만들었다. 그러나 남성의 모습이 장면마다 일관되지 않았고 여성의 헤어스타일은 템플릿 그대로 남았다. 입력 자료가 달랐으므로 이 결과를 Kling과 직접 비교할 수는 없다.

Seedance 2.5 Editing은 Kling과 같은 6초 템플릿과 사진을 사용했다. 두 번 모두 자산 심사에서 거부돼 영상이 생성되지 않았다. 오류에는 실제 인물의 초상이나 개인정보와 관련된 내용이 언급됐지만, 어떤 자산이 문제가 됐는지는 설명되지 않았다.

이 두 번의 시도에서 확인된 것은 당시 API가 이 입력 조합을 받아들이지 않았다는 점뿐이다. 생성된 영상이 없으므로 품질에 관해서는 알 수 없다.

H3는 인물을 바꿨지만 무엇을 바꿨나?

H3에서는 원하는 결과에 더 가까운 장면이 나왔다. 여러 장면에서 남성은 참고 사진의 안경과 수염, 헤어스타일을 갖췄고 여성의 마지막 클로즈업도 분명히 달라졌다.

대신 템플릿이 달라졌다. 장면은 일곱 개에서 여섯 개가 됐고, 반응하는 여성의 첫 클로즈업은 사라졌다. 장면 전환 리듬도 바뀌었으며 영상 길이는 약 6초에서 약 6.58초로 늘었다.

API 호출에는 약 111초가 걸렸다. 응답에 표시된 예상 비용은 약 0.72달러였지만 실제 청구액과 별도로 대조하지 않았다. 프롬프트도 조정했으므로, 같은 입력 자료를 사용해 접근법을 비교한 결과일 뿐 H3가 Kling보다 일관되게 낫다는 증거는 아니다.

H3는 원본 음악도 보존하지 않았다. 이후 템플릿의 오디오 트랙을 영상에 따로 합쳤다. 소리는 맞출 수 있었지만 영상이 더 길어 끝에 약 0.5초의 무음이 남았다. 오디오를 합쳐도 바뀐 장면 전환이나 타이밍은 복구되지 않았다.

같은 결과를 기대하려면 무엇을 확인해야 하나?

최종적으로는 H3로 영상을 만든 뒤 템플릿의 사운드트랙을 따로 합쳤다. “얼굴만 바뀌고 나머지는 모두 그대로 유지된다”는 약속은 중단했다. 대신 인물의 외모와 옷, 장면, 속도가 모두 달라질 수 있다고 안내한다.

명시적으로 인물을 연결하는 기능을 제공하는 AKOOL 같은 선택지도 살펴봤지만, 시험하거나 통합하지는 않았다. 두 차례에 나눠 인물을 교체하는 방법도 후보였으나 작동시키지 못했다.

이번 시험에서 확인한 것은 업체가 작업 완료 파일을 반환했다는 사실만으로는 충분하지 않다는 점이다. 두 사람이 실제로 바뀌었는지, 장면이 빠졌는지, 음악이 영상과 맞는지는 각각 확인해야 한다.

현재 결과는 소수의 시험에 불과해 임의의 사진 두 장이 모두 작동한다고 보장할 수 없다. 다음 단계로는 같은 템플릿에서 여러 사람 조합을 시험하고, 특히 여성의 짧은 클로즈업 두 장면을 확인할 필요가 있다. 원문은 이런 추가 시험의 결과나 AKOOL 통합 여부를 밝히지 않는다.