오픈AI 안전 담당자가 사임하며 안전 문화를 비판했다

데이비드 로빈슨은 오픈AI의 안전 접근이 문제를 해결할 수 있다는 ‘제약 없는 낙관주의’에서 출발한다고 썼다. 그는 그런 문화가 강력한 인공지능을 키우기에 위험한 환경을 만들었다고 주장했다.

오픈AI 안전 시스템팀의 일원으로 안전 투명성 업무를 맡았던 로빈슨이 회사를 떠났다. 그는 《애틀랜틱》에 기고한 글에서 오픈AI를 비롯해 인공지능을 만드는 기업들이 충분히 신중하지 않다고 비판했다. 회사의 안전 정책과 인력 변화에 관심을 둔 독자라면, 퇴사한 당사자의 주장과 오픈AI의 답변을 나눠 볼 필요가 있다.

로빈슨은 무엇을 문제 삼았나?

안전 투명성 업무에는 모델 정보를 제공하는 시스템 카드의 개발과 공개가 포함됐다. 로빈슨은 인공지능이 유용하고 가치 있을 수 있다고 보면서도, 오픈AI가 잇따라 제품을 출시하는 속도에 비해 필요한 주의를 기울이지 못한다고 주장했다.

“이런 문화를 바탕으로 한 안전 접근은 문제가 생기면 해결할 수 있다는 제약 없는 낙관주의에서 출발한다.”

로빈슨은 허깅페이스에서 보안 침해가 알려진 뒤 오픈AI가 모델의 문제 행동과 관련한 여러 안전 사고를 겪고 있다고 글에서 짚었다. 그는 이런 일이 생길 수 있는 환경은 인간보다 똑똑할 수도 있고 인간이 원하는 대로 행동하지 않을 수도 있는 인공지능을 키울 곳이 아니라고 썼다. 원문은 각 사고의 구체적인 내용이나 허깅페이스 침해와 오픈AI 사고 사이의 직접적인 연관성을 제시하지 않는다.

로빈슨은 극도의 자신감으로 성공한 사람들에게는 겸손이 자연스럽지 않을 수 있다며, 지금은 그런 겸손이 필요하다고 주장했다. 그는 회사를 떠나기로 가볍게 결정한 것이 아니며, 인공지능의 개발 속도를 늦춰야 한다는 주장이 외부에서 조율된 캠페인이라는 추측을 막기 위해 홍보 회사를 고용했다고도 밝혔다. 다만 발언하기로 한 결정은 자신이 내렸다고 덧붙였다.

오픈AI는 뭐라고 답했나?

오픈AI는 로빈슨의 글에 대한 답변에서 모델이 안전하게 관리하고 보호할 수 있는 수준을 넘어서지 않도록 하고 있으며, 필요하면 학습을 멈추거나 모델 공개를 미룬다고 밝혔다. 외부 평가 기관과의 협력을 늘리고, 학습 초기부터 우려되는 모델 행동을 찾아 멈추기 위한 실시간 모니터링도 개선하고 있다고 설명했다.

로빈슨의 퇴사는 오픈AI 안전 조직의 다른 변화와 겹쳤다. 오픈AI는 보안 정보 공유 정책 위반을 이유로 연구자 세 명과 결별했다고 목요일에 발표했다. 회사의 안전 책임자 요하네스 하이데케(Johannes Heidecke)도 그해 초 회사를 떠났다. 한편 샘 올트먼은 회사 개발자 행사에서 안전과 정렬(alignment)이 모델 역량보다 앞서야 한다고 말했다.

안전 조치는 실제로 어떻게 작동하나?

오픈AI는 외부 평가 기관과 협력하고 실시간 모니터링을 개선해 우려되는 행동을 더 일찍 탐지하고 막으려 한다고 밝혔다. 실시간 모니터링은 모델의 행동을 진행 중에 살펴보는 감시 체계에 빗대면 이해하기 쉽다. 다만 원문에는 모니터링 방식이나 평가 기관, 사고를 탐지한 실적에 관한 세부 정보가 없다.

로빈슨은 9월 초 X에 오픈AI 사람들이 고성능 모델의 영향을 깨닫기 시작한 것 같다고 썼지만, 회사가 충분히 빠르게 변하고 있는지는 모르겠다고 덧붙였다. 인공지능 개발을 늦추면 국제 경쟁자나 악의적인 행위자가 미국을 앞지를 수 있다는 업계의 우려도 원문에 담겼다. 원문은 이 우려를 뒷받침하는 구체적인 근거나 로빈슨의 비판에 대한 오픈AI의 별도 설명은 밝히지 않는다.