JEPAs가 서로 다른 감각의 표현을 맞추는 조건을 정리했다

서로 다른 데이터로 학습한 모델이 같은 세계 표현을 얻는 조건을 다룬 논문이 공개됐습니다. 랜들 발레스티에로(Randall Balestriero)와 얀 르쿤(Yann LeCun) 등이 논문을 공개했습니다. 이 논문은 서로 다른 데이터 유형으로 학습한 모델이 같은 세계 표현을 얻는 조건을 정리합니다. 연구진은 같은 장면을 담은 쌍이 적은 표본으로도 정렬을 이룬다고 주장합니다. 비교 대상은 다음 토큰 예측입니다.

Temporal Straightening은 JEPA 세계 모델의 잠재 표현을 계획에 쓰기 좋게 만듭니다. 이 연구는 서로 다른 데이터 유형 사이에서 표현이 맞춰지는 조건을 다룹니다. 하나는 학습된 표현의 활용을, 다른 하나는 어떤 학습 쌍이 표현을 일치시키는지를 살핍니다.

연구 대상은 공동 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)입니다. 정렬 조건을 표본 수로 비교한다는 점이 흥미롭습니다. 연구진은 좋은 뷰가 같은 데이터셋의 다음 토큰 예측보다 42배 적은 표본으로 같은 정렬 수준에 이른다고 보고합니다. 모델 규모만 키우는 대신 학습 쌍의 질을 바꾸면 적은 데이터로도 다른 감각의 표현을 맞출 수 있다는 가능성이 보입니다.

학습 표본을 아끼는 결과는 학습 쌍이 같은 장면을 담는 ‘좋은 뷰’일 때 나옵니다. 연구진은 문서의 서로 다른 부분을 짝짓는 다음 토큰 예측을 ‘나쁜 뷰’로 설명합니다. 그런 경우 두 표현이 같다고 보장하는 대신, 불일치가 제한되는 조건을 둡니다. 109M 파라미터 텍스트 JEPA는 평가한 최대 72B 파라미터 언어 모델보다 높은 정렬을 보였습니다. 이 결과는 표현 간 정렬에 관한 비교이며, 모든 과제의 우열을 대신하지는 않습니다.

이미지와 문장을 함께 쓰는 데이터가 있다면 20쌍을 무작위로 골라 같은 장면을 가리키는지 먼저 살펴보십시오. 짝이 잘 맞으면 다음 토큰 예측과 JEPA 방식에 같은 학습 표본을 주고, 따로 남겨 둔 쌍에서 정렬 점수를 비교해 보십시오. 표본 수를 바꿔도 차이가 남는지 직접 시험해 보십시오.

서로 다른 형식의 데이터를 맞춰 보셨을 때, 가장 먼저 어긋난 짝은 무엇이었습니까?