Talkie 뉴런 조작에 따른 답변을 살펴보는 체험 사이트가 공개됐다

Talkie의 뉴런을 하나씩 조작했을 때 모델이 “나는 누구인가?”라는 질문에 어떻게 답하는지 살펴볼 수 있는 실험 사이트가 공개됐다. 벤저민 브린(Benjamin Breen)이 Qwen Persona Library를 바탕으로 만든 프로토타입으로, 뉴런별 답변을 검색하고 시각화해 확인할 수 있다. Talkie 소개

뉴런 라이브러리 검색이나 뉴런 지도 보기에서 이용할 수 있다. 지도는 40개 레이어를 사각형으로 표시하고, 색 점은 실제 위치에 표시한 표본 뉴런을 나타낸다. 점에 마우스를 올리면 뉴런 라벨을 확인하고 클릭하면 답변을 볼 수 있다. 회색 영역은 표본에 포함되지 않은 뉴런이다. 라이브러리에서는 결과를 내려받을 수 있으며, 전체 데이터에는 일관된 답변과 비일관적 답변을 포함해 시험한 모든 방향이 담긴다.

실험에는 1931년 이전 텍스트만으로 학습한 Talkie의 13B 모델인 Talkie–1930–13B–IT가 쓰였다. Apple Silicon에서 8비트 가중치와 BF16 연산으로 로컬 실행했다. 레이어마다 10개씩 총 400개의 뉴런을 무작위로, 중복 없이 뽑았고 각 뉴런의 양방향 조작을 시험했다. 프롬프트는 Talkie의 기본 대화 형식에 맞춘 “Who are you?”이며, 시스템 페르소나나 정체성 지시는 넣지 않았다.

뉴런의 출력을 레이어의 잔차 벡터에 더하는 방식으로 조작 강도를 설정했다. 강도는 1.25배부터 시작해 답변이 비일관적이면 1.0배, 0.75배, 0.5배로 낮췄다. GPT-6 Luna가 답변의 일관성을 평가했으며, 기준 점수 5 이상인 답변 중 가장 강한 조작 결과를 선택하고 그런 답변이 없으면 마지막 시도를 남겼다. 라이브러리의 답변 평정에는 별도의 새 평가가 사용됐다.

이 사이트는 뉴런 개입을 탐색하고 그 효과를 살펴보는 개념 검증용 프로토타입이다. 뜻밖의 1인칭 답변은 후속 조사를 위한 단서일 뿐, 안정된 정체성을 확인해 주지는 않는다. 표본은 전체 뉴런을 포괄하지 않으며, 처음 균일하게 뽑은 시험 뒤에는 유망한 레이어에 초점을 맞춘 적응형 표본 추출이 이어졌다. 따라서 뉴런별 페르소나 라벨 비율을 전체 뉴런의 비율로 해석할 수 없다.

실험은 프롬프트 하나와 양자화된 모델 하나에 한정된다. 일부 후보에는 다른 프롬프트를 사용한 추가 시험도 제공된다. 강한 조작은 자연 상태의 활성 범위를 벗어난 행동을 만들 수 있고, 일관성과 기이함 평가는 자동화된 판단으로 역사적 진위를 측정하지 않는다. 라벨도 사람 평가자가 독립적으로 검증하지 않았다. 평가 기준과 실행 기록에서 추가 정보를 확인할 수 있다.