Goodfire는 Kimi K3와 GLM 5.3의 사이버 보안 모니터를 추론 서버에 배포했다고 밝혔다. 내부 활성값을 분석하는 프로브가 수상한 입력·도구 호출·출력을 먼저 가려내고, 해당 교환만 대형 언어 모델(LLM) 판정기에 보내는 방식이다. Goodfire는 이 구조가 매 턴 판정기를 실행하는 것보다 비용을 약 50배 줄이면서, 위험한 도구 호출이 이뤄지기 전에 대응할 수 있다고 설명했다.
평가에는 채팅 및 에이전트 세션 2,400개와 6만 회가 넘는 턴이 포함됐다. Claude Opus 5의 라벨을 기준으로 삼았으며, 정상 세션의 5.5%를 중단하는 조건에서 모니터는 유해 세션의 약 93%를 탐지했다. 이 조건에서 비사이버 트래픽은 0%로 표시됐다고 Goodfire는 밝혔다. 비용 비교는 최소 90% 재현율을 달성하면서 정상 세션 중단률을 10% 이하로 유지하는 가장 저렴한 설정을 기준으로 했다.
Goodfire가 제시한 추론 비용은 에이전트 턴 100만 회당 판정 추론을 하지 않을 때 65달러, 판정 추론을 포함할 때 185달러다. 매 턴 판정기를 호출하는 방식과 비교하면 각각 약 49배, 29배 저렴하다. 모니터를 켰을 때 처리량은 네 가지 추론 작업에서 기본 SGLang과 비교해 벤치마크 오차 범위 안에 유지됐다. 판정 추론 없이 평균 턴 지연은 160밀리초에서 2밀리초로, 판정 추론을 포함하면 2,750밀리초에서 42밀리초로 줄었다.
Kimi K3에 모니터를 추가하자 유해 세션 차단율은 약 29%에서 96%로 높아졌고, 정상 세션 중단율은 약 5%에서 9%로 늘었다. GLM 5.3에서는 유해 세션 차단율이 약 36%에서 91%로 높아지는 동안 정상 세션 중단율은 약 10%에서 15%로 증가했다. Goodfire는 Kimi K3용으로 모은 데이터만 사용해 GLM 5.3 모니터도 만들었으며, Kimi에서 생성한 세션 평가에서는 비슷한 성능을, GLM 자체 데이터 평가에서는 소폭 낮은 성능을 보였다고 밝혔다.
외부 평가기관 FAR.AI는 이틀 동안 고정된 탈옥 공격 묶음으로 모니터를 시험했다. 다른 버전의 기본 모델에서 효과가 있었던 후보 1,500개 가운데 140개를 골라 각각 8개 상호작용에 적용했다. 모니터를 켠 뒤 보편적 탈옥은 66건에서 0건으로, 전체 성공 상호작용은 700건에서 18건으로 줄었다. 다만 이는 고정된 공격 묶음에 대한 예비 평가이며, 모니터를 켠 경우에도 일부 개별 공격은 성공했다.
Goodfire는 오픈 모델을 에이전트 환경에서 제공할 때 이런 모니터링 구성이 실용적인 기본 안전장치가 될 수 있다고 주장한다. 자세한 평가와 방법은 Goodfire의 연구 자료에서 확인할 수 있다. 프로브 기반 모니터링의 배경은 이전 설명에 정리돼 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요