지난 글은 평균을 측정했다
지난 글에서 AI 슬롭이 모델 내부의 한 방향을 따라 나타난다는 점을 찾고, 그 방향을 사후 학습에 연결해 강도를 낮췄다. 하지만 그 방향은 수천 개 뉴런의 평균이다. 방향을 조정하면 모든 뉴런에 한꺼번에 영향을 주기 때문에, 너무 많이 조정했을 때 글이 망가졌다.
글을 올린 다음 날, 닉 카마라타(Nick Cammarata)는 신경망은 이미 깨끗하다를 공개했다. 그는 서로 관련 없는 개념이 한 뉴런에 섞인다는 유명한 사례가 주로 도구가 약하거나 오래된 구조에서 나왔다고 주장한다. 뉴런이 가장 강하게 활성화되는 사례와 음의 방향을 살펴보고, 뉴런을 조정하며 연결을 추적하면 대부분의 뉴런은 몇 가지 관련 개념을 곁가지로 두고도 주된 역할 하나를 맡는다는 설명이다. 이 설명이 AI 슬롭에도 적용된다면, 엠대시와 “X가 아니라 Y” 문장을 만드는 뉴런을 하나씩 살펴볼 수 있다. 이를 확인할 실험 환경은 이미 마련돼 있었다.
처음 찾은 뉴런은 잡음처럼 보였다
첫 단계로 모델이 직접 만든 슬롭 답변과 같은 답변을 신중하게 고쳐 쓴 버전을 비교해, 36개 층에 각각 9,728개씩 있는 모든 MLP 뉴런 가운데 차이가 가장 큰 뉴런을 살펴봤다. 상위 목록은 실망스러웠다. 해당 뉴런들은 “ffffffff”와 “=-=-=-” 같은 토큰에서 활성화됐고, 서로 공통점이 없는 위치에서 반응했다. 엠대시나 “not” 바로 앞 단어에서 활성화되는 뉴런으로 범위를 좁혀도, 살펴본 28개 가운데 12개는 여전히 이해하기 어려웠다. AI 슬롭을 만드는 뉴런은 뒤죽박죽이라고 쓰려던 참이었다.
그러다 설명이 되지 않던 12개 뉴런이 모두 활성화가 가장 큰 마지막 층에 있다는 사실을 알아챘다. 사용한 통계는 활성화 차이를 원시값 그대로 비교했기 때문에, 선택적으로 반응하는 뉴런보다 활성화가 큰 뉴런에 유리했다. 각 뉴런의 차이를 해당 뉴런의 일반적인 변동 폭으로 나누어 비교하자 결과가 완전히 달라졌다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요