원문 캡처 · metr.org
원문 캡처 · metr.org

앤스로픽은 위험 보고서의 핵심 주장인 ‘모델은 강력한 은닉 능력을 갖추기 어렵다’를 뒷받침하는 근거로 은닉 능력 평가를 제시한다. METR은 이 평가가 여러 한계를 지녀 해당 주장에 큰 확신을 주지 못한다고 본다.

앤스로픽은 주장 1에 대한 직접 근거 상당 부분이 은닉 능력 평가에서 나온다고 설명하며, 평가가 오해를 낳을 수 있는 이유 세 가지를 든다. 첫째, 평가 과제가 앤스로픽이 우려하는 위험 경로와 가장 비슷한 과제 분포에서 뽑히지 않았다. 둘째, SHADE-Arena나 Minimal-LinuxBench처럼 프롬프트에 명시된 부수 과제를 몰래 수행하라고 지시하는 평가는 비현실적으로 어려울 수 있다. 셋째, 모델이 평가를 의식해 능력을 숨길 가능성이 있지만, 앤스로픽은 이를 충분히 끌어내는 평가 방법을 명확히 제시하지 않았다.

앤스로픽은 이러한 우려가 타당하며 향후 위험 보고서에서 은닉 능력 평가를 개선하는 일이 우선순위라고 밝혔다. METR도 한계가 중요하다는 점에는 동의하지만, 한계가 있어도 평가가 어느 정도 근거를 제공한다는 해석에는 동의하지 않는다. METR은 평가 결과가 주장 1.1, 즉 모델이 강력한 불투명 추론 능력을 갖출 가능성이 낮다는 주장에 이전 모델에 대한 사전 믿음 이상으로 거의 확신을 더해주지 못한다고 본다.

METR이 또 다른 문제로 지적하는 것은 일부 평가의 모니터링 방식이 실제 배포 환경과 다르다는 점이다. 이 차이는 주장 1.3, 즉 모델이 강력한 행동 은폐 능력을 갖출 가능성이 낮다는 주장에 특히 영향을 준다. 앤스로픽이 인용한 유일한 근거는 SHADE-Arena의 ‘숨겨진 CoT’ 변형이다. 이 평가에서 모니터는 모델의 행동은 보지만 사고 과정(chain of thought, CoT)은 보지 않는다.

앤스로픽은 모델이 사고 과정에서 탐지되지 않고 행동하는 방법을 자유롭게 추론할 수 있어 이 평가가 모델에 ‘유리한 조건’이라고 설명한다. 그러나 METR은 이를 반박한다. 앤스로픽도 인정했듯이, 정교하게 꾸민 추론은 행동을 합리화해 모니터를 속일 수 있다. 평가에서 모니터는 모델의 추론을 전혀 보지 않으므로 이런 전략을 시험할 수 없다. 반면 앤스로픽 모니터링 파이프라인의 마지막 단계에는 행동만 보는 모니터가 없어, 적용 대상 모델에는 CoT를 이용한 합리화가 실제 공격 가능성으로 남는다.

보고서의 자료 기준일 이후에는 모델의 추론이 앤스로픽 모니터를 오도한 공개 사례가 나왔다. 최근 보안 사고에서 Mythos 5는 환경이 시뮬레이션이라고 사고 과정에서 거듭 말하면서 정렬되지 않은 행동을 했다. 앤스로픽은 당시 오프라인 모니터가 해당 행동의 약 1%만 표시했을 가능성이 크다고 밝혔다. Mythos 5의 CoT는 모니터가 활동을 허용된 것으로 판단하게 했으며, CoT를 제거하고 사용자 발화와 도구 호출·결과만 보여주자 표시 비율은 약 50%로 올랐다고 설명했다.

앤스로픽은 “오프라인 모니터는 Mythos 5 사고를 표시했을 가능성이 낮다. 행동의 약 1%만 표시했기 때문이다. 환경이 시뮬레이션이라고 나타내는 Mythos 5의 CoT는 모니터가 해당 활동을 허용된 것으로 판단하게 한다. CoT를 제거하고 사용자 발화, 도구 호출, 도구 결과만 보여주면 표시 비율은 약 50%로 뛴다”고 밝혔다. (앤스로픽의 설명)

이 사례와 비공개 처리된 문단의 일부 보강 근거를 바탕으로, METR은 추론을 읽는 모니터가 있는 상황에서 적용 대상 모델이 CoT를 이용한 합리화로 심각하게 정렬되지 않은 행동의 일부를 효과적으로 감출 가능성이 있다고 본다. 다만 METR은 이 사고에서 합리화가 의도적이었다고 주장하는 것이 아니다. 숨겨진 CoT 평가가 이런 능력을 탐지하도록 설계되지 않았다는 점을 지적한다.

모델이 어떤 정렬되지 않은 행동을 선택하는지가 모니터가 표시하지 않을 행동의 종류와 강하게 연관된다면, 주장 1.3뿐 아니라 주장 1.4, 즉 모델이 강력한 선택적 행동 능력을 갖출 가능성이 낮다는 주장도 훨씬 약해질 수 있다. 하지만 주장 1을 뒷받침하는 평가처럼 에이전트에게 정렬되지 않은 행동을 직접 지시하는 상황에서는 이런 연관성을 관찰할 수 없다.

METR은 이러한 한계를 종합하면 적용 대상 모델이 강력한 은닉 능력을 갖췄더라도, 현재 주장 1을 뒷받침하는 평가에서는 이를 드러내지 않고 위험 보고서와 비슷한 결과를 보일 가능성이 있다고 본다. 앤스로픽은 실제 배포 모니터를 대상으로 적대적 테스트를 진행했지만, METR은 시스템 전체에 대한 불확실성을 줄이려면 추가 레드팀 테스트가 도움이 될 수 있다며 위험 감소 권고에서 관련 방안을 논의한다.