언어 모델은 내부를 들여다봐도 이해하기 어렵다

언어 모델의 일부를 비활성화하자 다른 구성 요소가 행동을 바꿔 꺼진 부분의 기능을 대신했다. 연구자들은 이런 현상을 ‘창발적 자기 복구’라고 부른다. 모델 내부를 들여다보면 구성 요소의 작동을 추적할 수 있지만, 그 결과가 직관과 어긋나는 경우도 있다.

콴타 매거진의 벤 브루베이커(Ben Brubaker)는 신경과학에서 영감을 얻은 기계론적 해석 가능성 연구를 소개한다. 이 연구는 언어 모델이 개념을 어떻게 표현하고 간단한 과제를 어떻게 수행하는지 알아보려는 시도다. 모델의 내부 동작을 이해하려는 연구자와, 모델의 결과를 그대로 설명으로 여겨도 되는지 궁금한 독자에게 해당하는 이야기다.

기계론적 해석 가능성이란 무엇인가?

모델의 입력과 출력만 살피는 대신 내부 구성 요소의 작동을 관찰하고 조작해, 결과가 만들어지는 과정을 밝히려는 연구 분야다. 뇌의 특정 부위를 살펴보는 일을 떠올리면 쉽다. 연구자는 모델의 매개변수와 내부 구성 요소의 활성값을 읽고 바꾸며 출력에 미치는 영향을 살핀다.

모델은 어떻게 만들어지나?

대규모 언어 모델은 인간의 뇌 구조에서 느슨하게 착안한 수학적 구조인 인공 신경망을 바탕으로 한다. 신경망은 단순한 수학 연산을 이어 붙여 단어를 나타내는 숫자열을 처리한다. 모델의 연결을 설명하는 숫자값인 매개변수는 수십억 개에서 수조 개에 이를 수 있다.

연구자는 좋은 매개변수 값을 미리 정하는 방법을 알지 못한다. 대신 무작위 값으로 시작해 모델에 많은 데이터를 주고, 데이터의 일부 문장을 바탕으로 다음 단어를 예측하게 한다. 모델은 이 작업을 수조 번 반복한다. 매번 별도 알고리즘이 정답을 조금 더 잘 예측하도록 매개변수를 조정한다. 브루베이커는 이 과정이 연구자가 토마토를 키우는 정원사처럼 모델의 성장에 직접 관여하지 않는 일에 가깝다고 설명한다.

내부 숫자를 읽으면 설명할 수 있나?

학습이 끝난 모델의 매개변수 값을 확인하고, 특정 입력에 각 내부 구성 요소가 어떻게 반응하는지 기록할 수 있다. 하지만 숫자를 모두 모아도 모델의 동작을 설명하거나 새로운 입력에 대한 응답을 예측하기는 어렵다.

연구자는 매개변수뿐 아니라 활성값도 바꿀 수 있다. 특정 구성 요소의 반응을 일시적으로 바꾸고 출력이 어떻게 달라지는지 확인하거나, 한 입력에서 기록한 활성값을 다른 입력에 적용할 수 있다. 이 방법으로 모델 안에 특정 사실이 저장된 위치를 찾아낸 연구가 있다(연구). 그러나 한 부분에 개념이 저장돼 있다는 강한 증거가 있어도, 다른 부분을 조정해 해당 개념에 대한 모델의 지식을 바꿀 수 있다(후속 연구).

구글 딥마인드의 해석 가능성 연구자 아스마 간데하리운(Asma Ghandeharioun)은 자세히 살펴보면 당연히 맞을 것 같은 사실이 그렇지 않은 경우가 많다고 말한다.

간단한 과제에서도 예상 밖의 일이 생기나?

연구자들은 문장 앞부분에서 관련 단어를 찾는 과정(연구), 단어의 문법적 기능을 알아내는 과정(연구), 간단한 산술을 수행하는 과정(연구)을 밝혀 왔다. 그러나 같은 과제의 변형에 모델이 서로 다른 절차를 쓰기도 한다. 기사에서는 이를 비가 오면 늘 분홍색 칫솔을 쓰는 일에 비유한다.

또 모델 안에 똑같은 일을 하는 독립적인 구성 요소 집단이 여럿 있을 수 있다. 그러면 각 구성 요소의 영향을 분리해 알아내기 어려워진다(연구). 일부 구성 요소를 끄자 나머지가 행동을 바꾸고 꺼진 부분의 기능을 맡는 ‘창발적 자기 복구’도 관찰됐다(연구). 이 현상은 모델의 한 부분을 조작했을 때 다른 부분이 그대로 있을 것이라는 기대가 빗나갈 수 있음을 보여준다.

하버드대의 언어 모델 연구자 마틴 와튼버그(Martin Wattenberg)는 해석 가능성 연구가 5년 전보다 진전했으며 앞으로도 성과를 낼 수 있다고 본다. 다만 기사에 소개된 결과는 모델의 내부를 완전히 설명하거나 새로운 입력에 대한 반응을 예측할 수 있다는 뜻은 아니다. 연구 결과를 적용하려면 각 실험이 어떤 모델과 조건에서 이뤄졌는지 확인할 필요가 있다. 기사에는 각 연구의 모델별 실험 조건이나 수치 비교가 제시되지 않는다.