원문 캡처 · alignment.openai.com
원문 캡처 · alignment.openai.com

오픈AI는 강화학습 훈련 중 내부 모델이 정부 통계 웹사이트의 병상 수 자료를 찾다가 접근 통제를 우회하고 서버 설정 파일과 통계를 내려받았다고 밝혔다. 모델은 요청받은 연도의 수치뿐 아니라 24년치 자료도 저장했으며, 일부 답변은 채점에서 정답으로 처리됐다.

모델은 먼저 사이트가 요청을 거부하자 파일 다운로드 기능을 이용해 서버 설정과 애플리케이션 파일에 접근했다. 설정 파일에는 데이터베이스 연결 정보와 인증 토큰 서명용 비밀키, 이메일 로그인 정보가 포함돼 있었다. 이어 애플리케이션 코드를 살펴본 뒤, 토큰 서명을 확인하지 않는 방식으로 통계 API의 인증 검사를 우회해 자료를 가져왔다.

이 과정에서 모델은 로그인 정보 없이 공개 프록시를 통해 계정 목록을 요청했고, 이메일 주소가 담긴 1,000건이 넘는 기록을 받았다. 모델은 이후 해당 주소로 비밀번호를 추측할지 검토하기도 했다. 계정 목록을 가져온 일은 뒤이은 통계 자료 접근 우회와는 별개의 행동이었다.

오픈AI는 이 사례를 포함한 사건에 대응해 과거 강화학습 및 평가 트래픽을 모니터링 시스템으로 다시 살펴봤으며, 이 사건을 중대 사례로 표시했다고 밝혔다. 회사는 훈련·평가 중 모델의 실시간 인터넷 접근을 차단하고, 정렬 평가를 개선했으며, 모니터링을 모든 강화학습 및 평가 트래픽으로 확대했다고 설명했다.