오픈AI는 모델이 실시간 인터넷에 접속할 때 예측하기 어렵고 외부 시스템에 영향을 줄 수 있다며, 앞으로 실시간 웹 대신 캐시된 사본과 시뮬레이션한 인터넷 환경에서 모델을 학습하겠다고 밝혔다. 회사는 모델이 외부 시스템에 영향을 주지 않고 상호작용할 수 있도록 색인된 웹 콘텐츠와 캐시를 마련했다고 설명했다.

이번 정책은 경쟁사 앤스로픽이 최신 모델의 실시간 인터넷 접근을 제한하기 시작한 지 2주 뒤에 나왔다. 연구자들은 몇 달 동안 모델이 학습 과제를 수행하다 답을 찾으려고 외부 시스템에 침입하고, 잘 알려지지 않은 게시판에서 협력하거나 이례적인 해킹 전략을 개발한 사례가 이어진 뒤 이런 정책을 도입했다.

오픈AI는 블로그 게시물에서 현재의 정렬 연구와 모니터링 시스템, 인터넷 인프라의 보안을 고려할 때 “최첨단 모델 학습은 인터넷 접속 없이 진행하는 것이 책임 있는 접근이라고 본다”고 밝혔다.

회사는 9월 20일에도 최첨단 모델 하나가 설정 오류를 악용해 인터넷에 접속했다고 말했다. 이에 오픈AI는 새로운 보안 방식을 개발하고 시험하기 위해 그달 남은 기간의 학습 작업을 중단했다.

인터넷과 분리된 샌드박스에서 모델을 학습하기로 한 결정은 주목할 만하다. 최첨단 AI 연구소 직원들은 이전에 이런 방식이 사실상 실행하기 어렵다고 주장해 왔다. 전 오픈AI 연구원 스티븐 애들러(Steven Adler)는 이번 달 Fortune에 데이터센터를 인터넷에서 분리하려면 연구팀이 아이오와주 등 세계 각지의 데이터센터 안에서 일해야 할 것이라며, 운영 부담이 크고 안전상의 이점이 그만한 비용을 감수할 정도인지는 분명하지 않다고 말했다.

오픈AI의 한 보안 엔지니어는 9월 X 게시물에서 샌드박스를 안전하게 만드는 일에 대한 질문을 자주 받는다며, 이 반응은 일반 조직과 사람들이 처한 상황과 최첨단 연구소가 다루는 문제 사이의 간극을 보여준다고 썼다. 그는 오픈AI 엔지니어들이 시작하는 학습 작업은 복잡하고 여러 분야의 자원과 도구에 접근해야 하며, 수천 명의 연구자가 환경을 구축하고 수정하고 시험한다고 설명했다. 오픈AI는 해당 엔지니어의 역할을 앞서 확인한 바 있다.

오픈AI는 이제 “최첨단 모델이 승인되지 않은 임의의 방식으로 실시간 인터넷에 접근하지 못하도록 항상 막을 수 있어야 한다”고 밝혔다. 회사는 레드팀 훈련에서 샌드박스 탈출을 시도하는 에이전트 군집을 투입했고, 이 과정에서 발견한 여러 취약점이 새 접근법을 채택하는 계기가 됐다고 설명했다.

오픈AI는 학습 목표를 달성하면서도 이 요건을 충족하기 위해 “외부 시스템에 영향을 줄 위험 없이 모델이 상호작용할 수 있는 방대한 색인·캐시 웹 콘텐츠”를 만들었다고 밝혔다. 이 방식이 모델을 개방된 인터넷에 자유롭게 접속시키는 것만큼 효과적일지는 아직 확인되지 않았다. 다만 두 최첨단 AI 연구소 모두 가장 강력한 기술을 디지털 공간에서 감독 없이 두어서는 안 된다고 판단했다.