언어 모델 실험에서 RCDL의 폭을 수백만까지 키우자 사실 학습이 빨라졌지만, 층은 여전히 매우 비쌌다. 이 결과는 아직 논문으로 발표되지 않았다.

파라다임스 오브 인텔리전스 팀의 요하네스 오스발트(Johannes Oswald) 등은 가중치 행렬을 입력과 학습 중 역전파된 기울기의 데이터베이스로 바꾸는 검색 중심 딥러닝(RCDL)을 제안했다. 팀은 회귀·이미지 분류 실험과 합성 언어 실험에서 가능성을 살폈다. 가중치 학습의 다른 방법을 연구하는 사람이라면 논문과 코드를 확인할 만하지만, 언어 실험 결과는 아직 발표 전이고 계산·메모리 비용도 크다.

가중치 행렬은 입력을 출력으로 바꾸는 숫자들의 표다. RCDL은 이를 떠올리면 학습 때 쌓아 둔 사례를 찾아 결과를 조합하는 데이터베이스에 빗댈 수 있다. 추론할 때 입력과 관련 있는 과거 입력·기울기를 찾아 가중치를 주고 합친다.

가중치 행렬을 어떻게 바꾸나?

오스발트 팀은 선형층의 가중치 행렬을 학습하는 경사하강법을 다른 관점으로 해석했다. 학습을 마친 뒤의 선형층 계산은 학습 중 저장한 입력과 출력에 대한 기울기를 다시 불러와 조합하는 것으로 볼 수 있다. 입력끼리의 내적이 각 기록에 부여할 가중치를 정한다. 이 방식은 계산 결과를 바꾸지 않지만, 행렬 하나를 대신하려면 그 층에서 본 입력과 기울기를 모두 저장해야 한다. 모델의 행렬마다 수십억 개 벡터가 필요할 수도 있다고 설명한다.

팀은 이 관점으로 학습률 조정, 가중치 감쇠, 모멘텀의 효과를 데이터베이스 기록에 비춰 분석할 여지가 있다고 본다. 이어 내적 기반의 선형 주의 대신 더 강력한 비선형 함수를 적용하는 방안을 연구했다.

어떤 학습 규칙을 만들었나?

처음에는 방사 기저 함수(RBF) 커널을 선형 커널 대신 넣었다. 팀은 이 규칙이 양의 정부호 커널(PDK)이라면 적용할 수 있는 원리 있는 학습 알고리즘이라고 설명하며, 그 근거로 그럽과 배그넬의 2010년 연구를 언급한다. 결과적으로 새 기록을 계속 추가하면서 역전파된 기울기를 비선형 주의 함수로 조합하는 층을 만들었다.

소프트맥스 주의를 그대로 끼워 넣는 방식은 문제가 있었다. 데이터베이스에 새 기록을 더하는 순간 함수가 불연속적으로 바뀌었고, 학습률을 0으로 낮춰도 변화가 사라지지 않았다. 팀은 기록을 부드럽게 추가할 수 있도록 가중 소프트맥스를 설계했다. 무한한 데이터베이스 공간에서 가중치를 함수적 경사하강법으로 학습하고, 이를 이산화하면 새 데이터 묶음을 추가하는 규칙으로 이어진다는 설명이다. 이 규칙은 논문의 알고리즘 3에 해당하며, 가중치 행렬 없이 모델을 구성하는 것이 RCDL의 목표다.

팀은 델타넷(DeltaNet)과 메사넷(MesaNet) 같은 순차 처리 층도 가중치 학습 규칙으로 옮길 수 있다고 제안했다. 이 관점에서는 경사하강법으로 행렬을 직접 최적화하기보다 입력을 기울기로 잘 연결하는 행렬을 찾는다. 두 방법의 순차적 갱신처럼 미니배치 단위로 갱신하는 방식도 가능하다고 덧붙였다.

실험에서 확인한 것은 무엇인가?

회귀 실험에서는 가중 소프트맥스 층 하나가 교사 모델을 학습했다. 팀은 이 층이 소프트맥스 활성화 함수를 쓰는 매개변수화 기준 모델보다 좋은 결과를 냈다고 설명한다. 이미지 분류에서는 잔차 다층 퍼셉트론의 완전연결층을 RCDL 층으로 바꿨다. 메사 최적화기는 무온(Muon)과 경쟁력 있는 결과를 보였지만, 비용이 더 큰 RCDL 층은 강한 매개변수 기반 기준 모델을 앞서지는 못했다. 팀은 테스트 세트에 맞춰 하이퍼파라미터와 구조를 탐색했다고 밝혔으며, 해당 구조와 데이터셋에서 무온이 아담(Adam)·RMSprop보다 크게 나았다고 설명한다.

현재 RCDL 층은 기본 경사하강법을 사용한다. 팀은 아담이나 무온으로 학습한 가중치와 비교할 때 불리할 수 있다고 지적한다. 함수 공간에서 동작하는 아담형 최적화는 아직 충분히 개발하지 못했으며, 매개변수 기반 학습과 RCDL을 섞은 초기 실험은 논문에 포함했다고 한다.

언어 실험은 개인별 전기 정보를 학습하는 합성 데이터셋을 다뤘다. 기존 연구에서 트랜스포머는 먼저 일반적인 속성값 통계를 익히고, 개인별 지식이 없는 모델도 낼 수 있는 수준에서 성능이 정체된 뒤, 개인과 속성을 연결하는 지식을 학습하는 세 단계를 보였다. 정체 기간은 개인 수에 거의 비례했다. 새 개인의 데이터로 미세 조정하면 기존 개인에 대한 성능이 빠르게 떨어지는 망각도 관찰됐으며, 사전 학습 데이터를 다시 보여주는 방식은 최종 성능 하락을 일부 줄였지만 초기 하락은 막지 못했다.

팀은 전체 RBF 층 외에 유한한 특징 벡터로 커널을 근사하는 방법도 시험했다. RBF 층의 경우 코사인 보흐너 근사는 특수한 매개변수화를 가진 완전연결층으로 나타난다. 제마 3 트랜스포머의 완전연결층을 제글루(GeGLU), 코사인 보흐너 근사, 전체 성장형 RBF 층으로 바꿔 비교했고, 기준 층의 폭을 조정해 추론 계산량을 대략 맞췄다.

개인 수 1만6천 명으로 학습한 2층 모델에서 RBF와 폭이 넓은 코사인 보흐너 층은 성능 정체 구간을 크게 줄였다. 코사인 보흐너 층은 폭을 늘릴수록 나아졌고, 제글루 층은 비교적 일찍 성능 한계에 닿았다. 팀은 왜 이런 현상이 생기는지는 아직 알지 못한다고 밝혔다. 다른 개인 수와 혼합 구조에서도 비슷한 경향을 봤으며, 미세 조정에서는 RBF와 코사인 보흐너가 제글루보다 나은 듯했고, RCDL 층이 재학습 없이 망각한 정보를 되찾는 현상도 조사 중이라고 한다.

결과를 어디까지 믿을 수 있나?

팀은 RCDL이 회귀와 이미지 분류에서 흥미로운 결과를 보였고, 언어 실험에서 사실 습득 속도를 높였다고 주장한다. 다만 언어 실험은 미발표 결과이며, 폭을 수백만까지 늘려야 유의미한 이점이 나타났고 층의 비용도 매우 크다. 이미지 분류에서는 강한 기준 모델을 능가하지 못했다. 팀은 RBF 층의 성장을 더 효율적으로 만들고, 키·값 캐시 압축 기법을 활용하며, 최적화기를 개선하는 연구를 진행 중이라고 밝혔다.

논문은 arXiv에서, 코드는 GitHub 저장소에서 확인할 수 있다. 관련 연구로는 카즈키 이리에의 논문, 델타넷, 메사넷, 니콜라스 주케트의 연구, 언어 모델링 연구가 연결돼 있다. 논문은 뉴립스에 채택돼 12월 시드니와 파리에서 발표할 예정이라고 팀은 밝혔다. 원문은 언어 실험의 구체적인 수치와 측정 조건, 실제 규모에서의 비용을 밝히지 않는다.