TL;DR

  • DLSS 5는 기존 렌더링에 실세계 시각 데이터로 학습한 외관 사전 지식(appearance prior)을 결합해, 최대 4K 해상도에서 실시간 생성형 렌더링을 수행하는 기술임
  • 기존 DLSS는 더 높은 렌더링 비용이 필요한 결과를 학습 기반 재구성으로 근사하지만, 표현·시뮬레이션 가능한 사실성의 한계가 존재함
  • 범용 생성 모델은 개발자가 만든 장면 콘텐츠와 구조를 안정적으로 보존하지 못하고 추론 비용도 높아 인터랙티브 렌더링에 직접 적용하기 어려움
  • DLSS 5는 3D-guided neural rendering과 고해상도 실시간용 1단계 픽셀 공간 확산 모델을 사용해 현재 프레임, 모션 벡터, 시간 상태, 아트 디렉션 값을 기반으로 생성함
  • GeForce RTX 50 Series GPU에서 기존 게임 파이프라인의 렌더링 단계로 실행되며, 물리 기반 렌더링과 아티스트의 저작을 대체하지 않고 학습된 실세계 외관 지식으로 보완함

DLSS 5의 목표와 배경

  • DLSS 5는 인터랙티브 그래픽을 위한 실시간 생성형 렌더링 단계로, 실세계 시각 데이터에서 학습한 외관 사전 지식을 기존 렌더링과 결합함
  • 기존 DLSS 기술은 더 높은 렌더링 예산이 필요한 결과를 학습 기반 재구성으로 효율적으로 근사함
  • 이 방식은 렌더링 효율과 이미지 품질을 개선하지만, 사실성은 렌더러가 표현하고 시뮬레이션할 수 있는 범위에 제한됨
  • 실시간 연산·메모리 예산은 저작된 장면 표현과 렌더링 알고리즘을 모두 제한해, 실세계 외관을 완전히 포착하지 못하게 함
  • 기반 생성 모델은 실세계 외관에 관한 폭넓은 지식을 학습하고, 저작 에셋과 실시간 시뮬레이션으로 충실하게 표현하기 어려운 복잡한 시각 효과를 합성할 수 있음
  • 피부의 서브서피스 스캐터링(subsurface scattering)
  • 나뭇잎 사이로 빛이 산란되는 현상

생성 모델의 적용 과제

  • 생성 모델을 인터랙티브 렌더링에 직접 적용할 때 두 가지 근본적 문제가 발생함
  • 범용 생성 모델은 출력이 시각적으로 그럴듯해 보여도 개발자가 저작한 장면 콘텐츠와 구조를 안정적으로 보존하지 못함
  • 생성 모델의 추론 비용은 인터랙티브 렌더링의 엄격한 프레임 예산을 초과하며, 특히 4K 출력 해상도에서 문제가 커짐
  • DLSS 5는 학습된 외관 사전 지식을 활용하면서도 개발자가 저작한 콘텐츠와 디자인 의도를 충실히 보존하도록 설계됨

3D-guided neural rendering

  • 인터랙티브 프레임 예산 안에서 동작하기 위해 렌더러 기반 생성 방식인 3D-guided neural rendering을 도입함
  • 시스템은 고해상도 실시간 렌더링을 위해 설계된 1단계 픽셀 공간 확산 모델(one-step pixel-space diffusion model)을 사용함
  • 추론 시 모델 입력 조건은 다음과 같음
  • 현재 렌더링 프레임
  • 엔진 모션 벡터
  • 전달된 시간 상태
  • 아트 디렉션 값
  • 학습 과정에서는 렌더러에서 파생된 장면 속성의 일관성 감독을 사용해, 생성 결과가 저작된 장면에 충실하도록 구속함
  • 추론 과정은 인과적이고 결정론적이며, 프레임 간 시간적 안정성을 확보하도록 학습됨
  • 엄격한 프레임별 연산 예산 아래에서 동작해 최대 4K 해상도 실시간 렌더링을 지원함

DLSS 기술로서의 의미와 적용

  • DLSS 5는 기존 렌더러가 생성한 더 높은 비용의 참조 출력을 재구성하는 대신, 최종 표시 외관을 직접 생성하는 최초의 DLSS 기술임
  • 알려진 범위에서 실시간으로 동작하는 최초의 제품화 생성형 렌더링 모델이기도 함
  • GeForce RTX 50 Series GPU에서 기존 게임 파이프라인 내부의 렌더링 단계로 로컬 실행됨
  • 생성형 렌더링은 물리 기반 렌더링이나 아티스트의 저작을 대체하지 않음
  • 추가 샘플과 명시적으로 저작된 장면 표현만으로는 효율적으로 제공하기 어려운 학습 기반 실세계 외관 지식을 공급해 기존 방식을 보완함