칭화대가 주도한 PPMem은 AI 영상 모델이 이전에 본 장소를 다시 생성할 때 장면을 더 일관되게 유지하도록 돕는 메모리 방식이다. 기존 방식의 3D 점군 대신 벽·바닥 같은 평면을 저장해, 논문은 약 400프레임 뒤 장면을 약 10만 개의 평면 프리미티브와 5MB 메모리로 표현할 수 있다고 보고했다.
생성형 영상 모델은 제한된 문맥 창을 벗어난 장면을 안정적으로 기억하기 어렵다. 그래서 가상 환경에서 문을 통과한 뒤 돌아보면 문이 사라지는 식의 불일치가 생길 수 있다. 기존 ‘흔적’ 방식은 다시 방문할 장소를 기억하도록 3D 정보를 저장하지만, 점군이나 복잡한 기하 정보를 유지하면 메모리 사용량과 처리 부담이 커진다.
PPMem은 벽·바닥·가구처럼 평평한 표면을 기하학적 평면으로 저장한다. 카메라가 이전 장소로 돌아오면 저장된 평면을 시야에 투영해 새 프레임 생성을 안내한다. 논문에 따르면 각 평면 프리미티브는 중심 깊이, 두 변의 크기, 회전 쿼터니언 등 7개 숫자로 표현된다. 새 관측이 들어오면 겹치거나 가려진 표면을 점검하고, 더 신뢰할 만한 정보가 생기면 불확실한 추정치를 제거해 메모리를 갱신한다.
연구진은 PPMem을 Wan2.2-TI2V-5B 기반으로 개발하고, Plana3R에서 가져온 기하 예측 체계를 더했다. DL3DV와 RealEstate10K의 8만 개가 넘는 영상 클립을 576×1024 해상도로 학습에 사용했다. 비교 실험에서는 Gen3C, Voyager, VMEM, SPMem을 각 저장소의 기본 코드와 설정으로 평가했다. DL3DV와 RealEstate10K에서 49프레임과 121프레임을 비교한 결과, PPMem은 PSNR, LPIPS, CLIP 유사도, DINOv2 유사도 지표에서 최고 또는 공동 최고 점수를 냈다고 논문은 밝혔다. 300~400프레임 길이의 정성 평가에서도 카메라가 이동하는 동안 기존 장면의 외관과 구조를 경쟁 방식보다 잘 보존했다고 보고했다.
이 결과는 논문에 제시된 데이터셋과 평가 조건에 해당한다. 평면 메모리도 저장 용량과 처리 부담의 제약을 받으므로, 장시간 자유롭게 돌아다닌 뒤 모든 장면을 그대로 복원할 수 있다는 뜻은 아니다. 논문은 약 400프레임에서 탐색한 장면 전체를 약 10만 개 평면 프리미티브, 5MB로 나타낼 수 있다고 설명하며, 이는 같은 풍경을 조밀한 3D 점군으로 저장하는 것보다 약 1,000배 작다고 주장한다.
논문은 Persistent Planar Memory for Video World Models이며, PPMem 프로젝트 사이트에서 영상을 볼 수 있다. 비교 대상으로 언급된 Gen3C, VMEM, SPMem도 참고할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요