내부 개입으로 답변·중단 결정을 뒤집을 수 있는 오픈 웨이트 LLM

이 연구에서 가장 중요한 사실은 모델이 스스로 답변을 계속할지 멈출지를 결정하는 것처럼 보이는 순간에도, 내부 활성화 하나를 바꾸면 그 결정을 뒤집을 수 있었다는 점입니다. PCCG-Qwen3-4B는 블록 29의 단일 2,560차원 방향에 강도 2.0의 개입을 받은 뒤, GO→EOS와 EOS→GO를 각각 40/40으로 전환했습니다. 프롬프트와 가중치, 이미 생성된 추론 접두부를 고정했다는 조건까지 감안하면, 단순히 입력 문구를 바꾼 실험보다 인과성을 주장할 근거가 훨씬 강합니다.

다만 이 수치를 곧바로 ‘모델의 중단 의사결정을 완전히 해킹했다’고 확대해서는 곤란합니다. 40/40은 이 실험에 사용된 사례에서의 결과이지, 다른 질문·다른 길이·다른 샘플링 설정에서도 100% 작동한다는 뜻은 아닙니다. 특히 하나의 모델, 하나의 블록, 하나의 방향, 고정된 생성 접두부라는 조건은 효과를 선명하게 보여주는 대신 적용 범위를 좁힙니다. 실험실 안의 확실성과 현실 시스템에서의 일반성은 아직 분리돼 있습니다.

640/640 제어 조건이 변하지 않았다는 점은 이 연구의 설득력을 높이는 요소입니다. 개입하지 않은 사례가 모두 유지됐다는 사실은 관측된 변화가 무작위적인 생성 변동만으로 설명되기 어렵다는 쪽에 힘을 싣습니다. 하지만 제어 조건이 어떤 방식으로 구성됐는지, 개입 방향과 의미적으로 얼마나 가까운지, 사례가 사전에 선별됐는지는 결과 해석에 중요합니다. 따라서 이 연구는 ‘모든 내부 상태가 쉽게 조종된다’는 증명이라기보다, 특정 기능이 특정 저차원 방향에 인과적으로 연결될 수 있다는 강한 시연으로 읽는 편이 정확합니다.

Anthropic의 Jacobian Lens와 가산 활성화 개입을 함께 사용한 것도 의미가 있습니다. 내부 표현을 읽기만 한 것이 아니라 방향을 더해 출력 행동을 바꾸었기 때문입니다. 그렇다고 그 방향이 모델 안에서 인간이 이해하는 ‘계속하라’ 또는 ‘멈춰라’라는 단일 개념으로 저장돼 있다고 단정할 수는 없습니다. 여러 회로의 우연한 결합, 특정 토큰의 로짓 변화, 종료 토큰의 경쟁 구도만으로도 같은 현상이 나올 가능성은 남아 있습니다. 판독 가능성과 의미 이해는 같은 말이 아닙니다.

그럼에도 오픈 웨이트라는 점은 이 결과를 단순한 흥미로운 데모 이상으로 만듭니다. 폐쇄형 API에서는 이런 내부 개입을 외부 연구자가 검증하기 어렵지만, 가중치와 렌즈, 코드, 사례, 해시를 공개하면 독립적인 반박과 재현이 가능해집니다. CPU에서 표준 Python만으로 검증할 수 있다는 구성도 접근 장벽을 낮춥니다. 다만 저장소에 검증 스크립트가 있다는 사실은 재현의 출발점이지, 독립 재현 그 자체는 아닙니다.

앞으로는 모델 규모와 계열을 바꾸고, 개입 위치와 강도를 탐색하며, 프롬프트·추론 길이·샘플링 조건을 무작위화한 검증이 필요합니다. 특히 답변 중단을 뒤집는 능력이 안전 장치 우회, 무한 생성, 평가 조작으로 이어질 수 있는지 시험해야 합니다. 반대로 신뢰할 수 있는 내부 방향을 찾을 수 있다면, 위험한 출력의 중단이나 추론 과정의 모니터링 같은 내부 안전 제어에도 활용될 가능성이 있습니다. 결국 이 결과가 던지는 경고는 모델이 생각을 가졌다는 데 있지 않고, 우리가 생각처럼 해석하는 행동이 생각보다 쉽게 내부 신호의 조작 대상이 될 수 있다는 데 있습니다.