TL;DR

  • Complex KDA(CKDA)는 Kimi Delta Attention(KDA)의 게이트 범위를 [-1,1], 델타 규칙 계수 β 범위를 [0,2]로 확장해 2차원 회전을 구현하고 DeltaProduct₂ 수준의 상태 추적 표현력을 확보함.
  • CKDA는 대각 행렬과 랭크 1 행렬의 합 형태를 유지하며, 비팽창성과 안정성·효율성을 보존함.
  • CKDA의 전이 행렬은 직교 대각-랭크 1 행렬 전체를 정확히 표현하며, 단일 레이어로 SO(3)의 부분군과 동형인 모든 유한군을 추적할 수 있음.
  • S₃·S₄ 및 주기적 오디오 연속 생성 실험에서 두 범위 확장을 함께 적용한 설정이 테스트된 KDA 설정 가운데 가장 뛰어난 길이 외삽 성능을 보임.
  • 언어 모델링에서 CKDA는 트랜스포머와 다른 선형 순환 신경망(RNN)을 능가하고 KDA 기준선과 비슷한 결과 및 유망한 스케일링 동작을 보임.

연구 개요

  • 선형 순환 신경망(Linear RNN)은 델타 규칙(delta-rule)을 기반으로 효율적인 시퀀스 모델링을 수행하지만, 저랭크 보정이 포함된 선형 업데이트로 표현력이 제한됨.
  • 기존 연구는 하나의 순환 업데이트에서 델타 규칙 전이를 두 번 합성하면 2차원 회전을 모델링할 수 있음을 보였으나, 단일 전이보다 랭크와 업데이트 비용이 증가함.
  • 본 연구는 Kimi Delta Attention(KDA)이 단일 델타 규칙 변환과 채널별 게이트가 제공하는 두 번째 반사를 결합해 2차원 회전을 구현할 수 있음을 보임.

Complex KDA의 범위 확장과 표현력

  • KDA의 기존 범위 확장 두 가지를 결합해 게이트 범위를 [-1,1], 델타 규칙 계수 β 범위를 [0,2]로 설정한 모델을 Complex KDA(CKDA)로 정의함.
  • CKDA는 KDA의 안정성과 효율성을 보존하며, 전이 행렬은 대각 행렬과 랭크 1 행렬의 합 형태를 유지하고 비팽창적임.
  • CKDA의 상태 추적 표현력은 DeltaProduct₂ 수준에 도달함.
  • CKDA의 표현력을 특성화하고, 모든 직교 대각-랭크 1 행렬이 CKDA 전이 행렬로 정확히 표현됨을 증명함.
  • CKDA 단일 레이어는 SO(3)의 부분군과 동형인 모든 유한군을 추적할 수 있음.
  • 여러 상태 추적 결과에서 CKDA는 다른 대각-랭크 1 선형 RNN보다 레이어를 하나 적게 사용함.

실험 결과

  • 두 범위 확장을 함께 적용한 설정은 S₃, S₄, 주기적 오디오 연속 생성 실험에서 테스트된 KDA 범위 설정 가운데 가장 뛰어난 길이 외삽 성능을 보임.
  • 언어 모델링에서 CKDA는 트랜스포머와 다른 선형 RNN을 능가하고, KDA 기준선과 비슷한 결과를 얻으며 유망한 스케일링 동작을 보임.

코드와 모델

  • 코드와 모델은 각각 원문에서 this https URL로 연결되어 있음.
  • 논문 식별자: arXiv:2609.24797, DOI: 10.48550/arXiv.2609.24797
  • 저자: Julien Siems, Riccardo Grazzi, Korbinian Pöppel, Jaisidh Singh, Arber Zela, Timur Carstensen, Jenia Jitsev, Frank Hutter, Volkan Cevher, Antonio Orvieto, Aaron Klein.