Temporal Straightening이 잠재 계획을 위한 세계 모델 표현 학습을 개선함

이 연구의 핵심 가치는 세계 모델을 더 크게 만드는 대신, 계획자가 이동해야 할 잠재 공간의 모양 자체를 바꿨다는 데 있다고 봅니다. 기사에 따르면 시간적 직선화는 잠재 궤적의 국소적 곡률을 줄여 유클리드 거리가 실제 상태 변화의 측지 거리를 더 잘 근사하도록 만듭니다. 이는 단순한 시각 표현 개선이 아니라, 계획 알고리즘이 “어느 방향으로 얼마나 움직여야 하는가”를 덜 헷갈리게 만드는 접근입니다.

특히 JEPA에서 인코더와 예측기를 함께 학습하면서 곡률 정규화를 적용했다는 점이 중요합니다. 사전 학습된 시각 인코더는 풍부한 의미 정보를 담지만, 목표 도달에 필요하지 않은 배경이나 외형 변화까지 표현할 수 있습니다. 그런 특징은 인식에는 유용해도 행동 계획에서는 잡음이 됩니다. 이 연구는 표현을 무작정 더 풍부하게 만드는 대신, 시간적으로 이어지는 상태 변화가 계획하기 쉬운 구조를 갖도록 압축하려고 합니다.

논문은 시간적 직선화가 그래디언트 기반 계획을 안정화하고 여러 목표 도달 과제에서 성공률을 크게 높였다고 보고합니다. 이 결과가 재현된다면 잠재 계획의 약점이 예측 능력 부족만은 아니라는 점을 보여주는 셈입니다. 세계 모델이 미래를 어느 정도 맞히더라도 잠재 공간의 거리가 행동 비용과 어긋나면 최적화가 엉뚱한 방향으로 흐를 수 있는데, 곡률 정규화는 바로 그 기하학적 불일치를 줄이는 장치로 기능할 가능성이 큽니다.

다만 곧은 궤적이 언제나 좋은 표현을 뜻하지는 않습니다. 실제 환경의 동역학은 장애물, 분기, 접촉, 급격한 상태 전환처럼 본질적으로 휘어진 구조를 가질 수 있습니다. 정규화가 지나치게 강하면 계획에 필요한 비선형성과 희귀한 전환까지 평탄화할 위험이 있습니다. 기사에는 성공률 향상이 제시되어 있지만, 다양한 정규화 강도와 장기 시간 범위에서 성능이 어떻게 달라지는지, 또 시각적 배경이 바뀌는 환경에서도 효과가 유지되는지는 더 확인해야 할 대목입니다.

또 하나의 관건은 이 방법이 그래디언트 기반 계획에 특히 유리하다는 점입니다. 이는 미분 가능한 세계 모델과 연속적인 행동 공간에서는 강점이지만, 이산 행동이나 긴 시간의 누적 오차, 부분 관측 환경에서는 효과가 제한될 수 있습니다. 따라서 시간적 직선화가 모든 계획 문제의 해법이라기보다, 잠재 공간을 직접 미분해 목표를 찾는 계열의 방법을 정교하게 만드는 원리로 자리 잡을 가능성이 더 커 보입니다.

그럼에도 이 연구는 표현 학습의 평가 기준을 넓힌다는 점에서 의미가 있습니다. 좋은 표현을 분류 정확도나 재구성 품질만으로 판단하지 않고, 실제 계획에서 거리와 방향이 얼마나 행동 가능한 의미를 갖는지로 평가해야 한다는 메시지입니다. 앞으로는 곡률뿐 아니라 불확실성, 인과적 상태 변화, 행동 비용까지 함께 반영하는 정규화로 발전할 수 있을 것입니다. 세계 모델 경쟁의 다음 단계는 더 많은 정보를 저장하는 일이 아니라, 필요한 정보가 계획 가능한 기하학으로 정리되어 있는지를 증명하는 일이 될 가능성이 큽니다.