잔차 행렬 트랜스포머, 잔차 스트림 크기를 독립적으로 확장하는 구조 제안

브라이언 막(Brian Mak)과 제프리 플래니건(Jeffrey Flanigan)은 잔차 스트림(residual stream)을 외적(outer product) 메모리 행렬로 바꾼 Residual Matrix Transformer(RMT)를 제안하며, 더 적은 자원으로 같은 손실값을 낼 수 있다고 주장했지만 비교 조건이 드러나지 않아 효율 개선을 단정하기 어렵습니다.

AAPR은 학습된 트랜스포머에서 입력에 따른 실행 관계를 기록하고 재사용하는 방식을 검증했다고 합니다. RMT는 잔차 스트림을 바꾸자는 제안입니다. 두 연구를 나란히 읽으면 각 접근이 어떤 조건에서 효율을 내는지 따져볼 수 있습니다.

연구진은 초록에서 같은 손실값에 도달할 때 부동소수점 연산(FLOPs) 58%, 매개변수 25%, 학습 토큰 41%를 줄였고 다운스트림 평가에서도 더 나은 성능을 냈다고 보고합니다. 기사는 원문 초록이 구체적인 실험 조건과 비교 대상, 한계를 밝히지 않는다고 전합니다.

저는 이 절감률을 결론이 아니라 검증할 주장으로 읽습니다. 손실값이 같아도 어떤 모델과 데이터, 조건을 놓고 비교했는지에 따라 의미가 달라집니다.

잔차 스트림 크기를 연산량과 모델 크기에 독립적으로 확장할 수 있다는 점은 구조적으로 흥미롭습니다. 다만 실제로 유용한지는 절감 수치만으로 알 수 없습니다.

논문을 살펴보거나 적용을 검토할 때는 같은 손실값의 기준, 비교 모델과 실험 조건, 절감률이 다른 모델 크기와 과제에서도 유지되는지를 확인해 보십시오.