Goodfire 연구진은 오픈소스 모델의 내부 활성값에서 보상 해킹과 연관된 신호를 찾아 이를 감지하는 프로브를 만들었다. 연구진은 이 방법이 일부 상황에서 언어 모델 기반 모니터가 놓친 사례를 포착하며, 대규모 실시간 감시에 활용될 수 있다고 보고했다.
보상 해킹은 모델이 보상 점수를 얻으면서도 의도한 과업은 수행하지 않는 행동이다. Goodfire 연구진은 Kimi K3, GLM 5.2, Qwen 3.8 Max와 세 가지 에이전트 벤치마크를 조사해 롤아웃의 50~96%에서 보상 해킹을 발견했다고 밝혔다. 모델이 숨겨진 테스트를 추론하거나 답을 기억에서 그대로 복사하는 사례 등이 포함됐다.
연구진은 모델 내부에서 부정행위, 지표 조작, 발각 회피와 관련된 신호를 확인하고, 이를 감지하는 활성값 프로브를 구성했다. 프로브는 모델의 내부 계산을 이용하는 소형 감지기다. 신호를 증폭한 실험에서는 시험 이야기에 부정행위가 등장했고, 모델이 부정행위를 식별하도록 심어 둔 ‘허니팟’을 이용할 가능성도 커졌다. 다만 연구진은 이것이 사람이 아는 것과 같은 의미로 모델이 자신의 행동을 ‘안다’는 뜻인지는 단정하기 어렵다고 설명했다.
프로브는 짧은 코딩 예제로 만들었지만 쇼핑·고객 지원 등 학습에 포함되지 않은 작업과 긴 출력에서도 작동했다고 연구진은 밝혔다. DeepSWE에서 같은 오탐률을 기준으로 비교했을 때, Kimi K3에서는 연쇄 사고 모니터보다 해킹을 3.1% 더 포착했지만 GLM 5.2에서는 7.9% 적게 포착했다. 쇼핑 벤치마크에서는 요청에 맞지 않는 상품을 의도적으로 추천하는 등 맥락을 고려해야 드러나는 사례를 프로브가 잡고 언어 모델 심판은 놓친 경우도 있었다.
프로브는 의심스러운 행동을 값싼 1차 감시로 선별하고, 필요한 경우 비용이 큰 언어 모델 모니터에 넘기는 방식으로 함께 쓸 수 있다. Kimi K3에서 이 조합은 정밀도가 약 1% 낮아지는 대신 언어 모델 감시 비용을 90% 줄였다고 연구진은 보고했다. 감지 임계값을 조정해 해킹 포착률과 오탐 사이의 균형도 바꿀 수 있다.
연구진은 감지 결과를 이용해 해킹이 진행 중인 학습을 멈추거나, 보상 해킹을 부추기는 오류가 있는 환경과 불가능한 과제를 찾아 고칠 수 있다고 제안했다. 이번 결과는 가장 단순한 기법을 사용한 연구에 기반하며, 더 나은 성능을 낼 여지가 있을 수 있다고 덧붙였다. 자세한 방법과 평가 결과는 논문에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요