TL;DR

  • 루프 플로우(Looped Flows)가 추론 중 계산을 반복적으로 확장하는 루프 모델의 학습 난제를 국소적 디노이징 목표로 우회하며, 여러 추론 벤치마크에서 기존 최신 루프 모델을 전반적으로 능가함.
  • 기존 루프 모델은 학습 시 한두 번의 상태 업데이트에만 역전파하므로 초기 업데이트가 이후 계산을 지원하도록 학습하기 어려운 구조임.
  • 루프 플로우는 점진적으로 감소하는 노이즈 수준과 공유 노이즈를 사용해 디노이징 목표 사이에 시간적 연관성을 부여하고, 유용한 계산을 시간에 따라 전달하는 순환 상태를 학습함.
  • 학습된 디노이저가 매개변수화한 확률 플로우의 속도를 순환 상태와 함께 적분해 추론하며, 더 촘촘한 시간 격자로 계산량을 늘려 더 어려운 문제를 다룸.
  • 6개 추론 벤치마크에서 성능을 평가했으며, ARC-AGI-1 58.8%, ARC-AGI-2 12.2%의 테스트 정확도를 기록함.

연구 개요

  • 인간과 기계는 계산에 더 많은 시간을 투입해 더 어려운 문제를 해결하는 경우가 많으며, 딥러닝에서는 루프 모델이 추론 중 은닉 상태를 반복적으로 갱신하는 방식으로 이 아이디어를 구현함.
  • 그러나 실제 학습에서는 역전파가 한 번 또는 소수의 상태 업데이트만 통과하므로, 초기 업데이트가 이후 업데이트를 지원하도록 학습하기 어려운 문제가 발생함.
  • 논문은 이 문제를 우회하는 방법으로 루프 플로우를 제안함.

국소적 디노이징 기반 학습

  • 루프 플로우는 순환 구조를 전체 업데이트에 걸친 역전파가 아니라 국소적 디노이징 목표(local denoising objectives)로 학습함.
  • 점진적으로 감소하는 노이즈 수준과 공유 노이즈를 사용해 서로 다른 디노이징 목표 사이에 시간적 연관성을 부여함.
  • 이 방식은 역전파가 몇 번의 업데이트만 포괄하더라도, 모델이 시간에 따라 유용한 계산을 전달하는 순환 상태를 학습하도록 유도함.

확률 플로우 기반 추론

  • 추론은 학습된 디노이저가 매개변수화한 확률 플로우의 속도를 순환 상태와 함께 적분하는 방식으로 정식화됨.
  • 더 촘촘한 시간 격자를 사용해 계산량을 늘리면 더 어려운 문제를 해결할 수 있음.
  • 서로 다른 초기 노이즈 샘플을 사용해 여러 개의 유효한 예측을 생성할 수 있음.

벤치마크 결과

  • 2개의 다중 해답 벤치마크를 포함한 6개 추론 벤치마크에서 기존 최신 루프 모델과 비교함.
  • 루프 플로우가 전체적으로 기존 최신 루프 모델을 능가함.
  • ARC-AGI-1 테스트 정확도는 58.8%임.
  • ARC-AGI-2 테스트 정확도는 12.2%임.

서지 정보

  • 제목: *Thinking with Looped Flows*
  • 저자: Ayhan Suleymanzade, Chanhyuk Lee, Floor Eijkelboom, Nicholas M. Boffi, İsmail İlkan Ceylan, Jinwoo Kim
  • 분야: 머신러닝(Machine Learning), 인공지능(Artificial Intelligence)
  • 제출일: 2026년 9월 10일
  • 인용: arXiv:2609.11801 [cs.LG]
  • DOI: https://doi.org/10.48550/arXiv.2609.11801