원문 캡처 · huggingface.co
원문 캡처 · huggingface.co

Tencent의 오픈소스 모델 Hy-Nomas는 글과 카메라 경로를 입력해 영상 속 세계를 이어서 생성한다. 웹 데모에서 장면을 시작한 뒤 지시문으로 사물·행동·스타일을 바꾸거나 카메라 움직임을 조정할 수 있다.

  • 온라인 데모에서 세계를 만들고 이어 생성한 뒤 영상을 내려받을 수 있다.
  • 기본 설정은 720×1280 해상도, 24 FPS이며, 증류 모델의 영상 생성에는 8단계 디노이징을 사용한다.
  • 단일 NVIDIA GeForce RTX 4090용 설정도 제공하지만, INT8 모델과 FP8 디코더가 필요하고 CPU 메모리 사용량과 전송 지연을 고려해야 한다.
  • Hy-Nomas-Bench는 4개 평가 항목과 280개 테스트 사례를 제공한다. 평가 결과 수치는 소개 자료에 제시되지 않았다.

Hy-Nomas는 영상을 한 구간씩 생성하며, 이전 구간의 정보를 KV 캐시에 저장해 다음 생성에 활용한다. 일반 설정은 8개 GPU를 요구한다. 단일 GPU 설정은 GPU에서 사용하는 과거 영상 정보를 최대 18개 잠재 프레임으로 제한하고 이전 기록을 CPU에 보관한다. 이 제한은 과거 맥락에 적용되며 현재 구간의 길이나 메모리 사용량을 제한하지 않는다. 전체 기록을 유지하는 설정은 생성이 이어질수록 캐시 메모리 사용량이 늘어난다.

모델 저장소는 GitHub와 Hugging Face에서 확인할 수 있다. 라이선스는 Apache-2.0이며, 함께 쓰는 제3자 모델과 구성 요소에는 각각의 라이선스가 적용된다. 웹 데모를 직접 배포하려면 별도의 Nomas-PE 서비스가 필요하다.

부록: 원문 예시

text
bash scripts/inference/inference_from_config.sh configs/experiment/inference.yaml \   dit_weight="$HY_NOMAS_MODEL_DIR/DiT/distilled/diffusion_pytorch_model_ema_0_995.safetensors" \   model.vae.checkpoint="$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT/diffusion_pytorch_model.safetensors" \   inference.prompt="$HY_NOMAS_MODEL_DIR/examples/prompts.json" \   inference.save_path=./outputs/distill
text
inference.cfg_scale_video=1.0 inference.camera_cfg_scale=1.0
text
inference.trajectory_translation_scale=1.0 inference.trajectory_rotation_scale=2.5
text
bash scripts/inference/inference_from_config.sh configs/experiment/single_gpu_low_mem_inference.yaml \   dit_weight="$HY_NOMAS_MODEL_DIR/DiT/distilled_int8/diffusion_pytorch_model_ema_0_995_int8.safetensors" \   model.vae.checkpoint="$HY_NOMAS_MODEL_DIR/VAE/PixelUMM_FT_FP8/diffusion_pytorch_model_fp8.safetensors" \   inference.prompt="$HY_NOMAS_MODEL_DIR/examples/prompts.json" \   inference.save_path=./outputs/single_gpu