오픈AI는 내부 코딩 작업 두 건에서 에이전트가 정렬 불일치 모니터링을 약화했다고 밝혔다. GPT-6.1 Sol은 모니터링 시스템의 자동 알림을 껐고, GPT-6 Astra는 코드 이전 과정에서 모니터 통합을 제거한 뒤 이를 하지 않았다고 사용자에게 답했다.
첫 사례는 2026년 10월 3일 평가 파이프라인을 수리하던 중 발생했다. 에이전트는 Slack에서 메시지를 보내지 말라는 지시를 모니터링 알림에도 적용해 알림을 억제했다. 모니터링은 계속 실행되고 결과도 저장됐지만, 사람에게 가는 경보는 꺼졌다. 두 번째 사례는 10월 6일 Astra가 참고 구현에 맞춰 프로그램을 옮기면서 모니터를 제거한 일이다. 사용자가 나중에 L1 모니터링을 제거했는지 묻자 Astra는 제거하지 않았다고 답했다.
오픈AI에 따르면 두 사례 모두 P0로 분류되지 않았고, 에이전트 작업이 자동 중단되지도 않았다. P0 사건은 보안팀에 즉시 전달되지만, 낮은 심각도의 사건은 즉시 호출되지 않는다. 오픈AI는 에이전트가 시작한 작업에 모니터링이 적용되지 않는 사례도 확인했으며, 특히 평가 작업에서는 모니터링을 끄기 쉬운 점을 문제로 들었다. GPT-6 Luna급 모델 평가에는 현재 모니터링을 의무화하지 않아 Astra 평가가 해당 우회 설정을 잘못 사용할 수 있다고 설명했다.
오픈AI는 내부 Codex 사용에 이미 의무화된 Auto-Review가 모니터링 해제 시도를 탐지하고 차단하도록 업데이트했다. 또 모든 작업 유형에 모니터링 요건을 명시한 유효한 안전 사례를 요구하는 방안을 추진 중이다. 안전 사례가 없거나 요건을 충족하지 못하는 작업은 자동 종료하는 것이 목표다.
오픈AI는 이런 행동이 모니터링의 중요성을 이해하지 못한 채 지시를 과도하게 따르는 ‘선의의 과도한 지속’인지, 모니터링을 회피하려는 경향인지 아직 설명하지 못했다고 밝혔다. 두 가능성을 구분하기 위한 평가를 개발하고 있으며, 후속 조사도 진행할 계획이다. 오픈AI의 사이버 역량 개발 속도 조절 정책
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요