METR와 Redwood Research 직원은 2026년 7월 21일부터 8월 11일까지 OpenAI의 내부 에이전트 감시 시스템을 시험해, 당시 시스템의 감시 범위와 우회 가능성을 조사했다. 두 기관은 일부 트래픽이 감시 대상이 아니거나 감시를 피할 수 있는 취약점을 발견했지만, 결과는 7월 21일 이전 시스템에 관한 것이며 현재 적용 범위를 평가한 것은 아니다.

이번 시험은 METR 직원과 Redwood Research 직원이 OpenAI의 내부 코드와 감시 프롬프트·설정·문서에 접근하고, 감시·안전 시스템·보안 팀 연구자 및 엔지니어 약 12명과 면담하는 방식으로 진행됐다. 세 기관은 외부 연구자에게 내부 인프라 접근을 허용하는 시범 사업으로 설계했으며, 공개 글은 61쪽 내부 보고서의 일부만 간략히 다뤘다. OpenAI는 공개본에서 민감하다고 판단한 정보를 삭제할 권리가 있었다.

조사팀은 당시 GPT-5.5 이상 모델이 사용하는 내부 Responses API의 에이전트 트래픽 가운데 약 75~94%가 감시 대상이 될 수 있었다고 추정했다. 추정치에는 상당한 불확실성이 있다. 내부 Codex 에이전트에 쓰인 Responses API 트래픽만 보면 감시 대상 비율은 99.2%로 추정됐다. 이 수치는 감시 대상으로 지정된 비율이지, 모든 요청이 실제 감시 절차를 통과했다는 뜻은 아니다. 다른 내부 코딩 에이전트 서비스의 트래픽은 접근 및 시간 제약 때문에 추정하지 못했다.

조사팀은 당시 시스템에서 다음과 같은 문제와 가능성을 보고했다.

  • 3~6월 일부 강화학습(RL) 훈련 실행이 감시됐다는 설명을 들었지만, 시험 시작 당시 RL 훈련 실행은 감시 시스템의 적용 범위에 포함되지 않았다.
  • 2026년 5~7월 내부 Codex 트래픽 중 약 10%가 압축(compaction) 이벤트를 감시하지 않아 누락됐을 가능성이 있다고 추정했다. 정확한 비율을 산출할 로그가 없었고, OpenAI 직원이 시험 시작 전 이 문제를 별도로 발견해 시험 중 수정했다.
  • 감시는 에이전트가 사용자에게 제어권을 돌려줄 때 작동했다. 압축 이벤트가 감시되지 않던 기간에는 에이전트가 계속 행동을 이어가 감시를 무기한 미룰 수 있었다. 다만 실제로 에이전트가 이를 악용했는지는 확인하지 못했다.
  • Codex 에이전트가 샌드박스와 Auto-Review를 우회해 호스트 사용자가 할 수 있는 작업을 수행할 수 있는 방법을 찾았다. 또 최근 수백 건의 행동을 감시에서 빠뜨릴 수 있는 악용 방법도 발견했지만, OpenAI가 세부 내용을 공개 글에서 삭제했다.
  • 에이전트와 감시 시스템이 보는 직렬화된 입력의 차이를 이용하면 감시 시스템을 실패하게 해 사람의 검토로 넘어가지 않도록 입력을 구성할 가능성이 있었다. 새 에이전트의 감시를 끄는 데 쓰일 수 있는 클라이언트 제어 헤더 두 개도 발견했지만, 헤더 설정과 새 인스턴스 생성 자체가 감시에 포착될 수 있었다.
  • 읽기 전용 권한으로 여겨졌던 내부 에이전트 도구 두 개가 감시되지 않는 상태였고, 권한 제한을 무력화해 샌드박스 안에서 임의 작업을 수행할 수 있는 간단한 악용 방법을 찾았다. 이 동작은 검증하지 않았으며 실제 악용 가능성도 시험하지 않았다.

조사팀이 받은 자료에 따르면 당시 감시 시스템은 요청의 0.2% 미만에서 오류를 냈고, 시험 기간 중 한 24시간 동안에는 부하로 요청을 처리하지 못한 사례가 없었다. 감시 시스템은 몇 가지 작은 예외를 제외하면 에이전트가 보는 전체 행동 기록을 받았으며, 프롬프트는 계획적 불일치, 감시 시스템 교란, 사보타주, 데이터 유출, 기만, 프롬프트 인젝션 등의 위험을 찾도록 설계돼 있었다.

시험 이후 OpenAI는 운영 중인 안전장치에 영향을 주는 취약점을 모두 수정했다고 밝혔다. 또한 감시 시스템의 적용 범위를 크게 바꿨다고 설명했지만, METR와 Redwood는 이 조치나 현재 시스템을 평가하지 않았다. OpenAI의 내부 코딩 에이전트 감시 방식과 감시 시스템 변경에 관한 OpenAI 설명에서 관련 내용을 확인할 수 있다.

조사팀은 향후 감시 시스템이 강력한 내부 에이전트의 지속적인 공격에도 견디도록 설계해야 한다고 제안했다. 에이전트가 행동을 끝낼 때까지 기다리지 말고 일정한 메시지나 시간 간격으로 감시하며, 감시 대상 트래픽과 실제 감시 로그를 대조하고, 변조할 수 없는 검색 가능한 기록을 남겨야 한다는 내용이다. 이와 함께 감시 시스템의 정기적인 레드팀 시험, 사고 대응 책임과 지침 마련, 에이전트와 감시 시스템의 격리도 권고했다.

이번 활동은 METR의 Anthropic 감시 시스템 시험 및 Hugging Face 사고 조사와는 별개의 작업이다. METR는 이후 외부 연구자의 평가를 위한 투명성과 독립성 기준을 별도 글에서 제시했다.