TL;DR

  • OpenAI Safety Systems 팀의 David Robinson이 회사의 안전 투명성 업무를 맡다 사임하고, 빠른 출시를 우선하는 문화가 강력한 AI를 위험하게 만들고 있다고 비판함.
  • Robinson은 회사가 잇따른 모델 출시 속에서 필요한 수준의 주의를 기울이지 못하고 있으며, AI 개발 기업들이 충분히 신중하지 않다고 밝힘.
  • OpenAI는 안전하게 관리할 수 있는 수준을 넘어 모델 역량이 커지지 않도록 하고, 필요하면 학습을 중단하거나 모델 공개를 보류한다고 반박함.
  • OpenAI는 외부 평가 기관과의 협업을 확대하고 학습 과정의 실시간 모니터링을 개선해 우려되는 AI 행동을 조기에 감지·중단하려 한다고 밝힘.
  • Robinson의 사임은 안전 정책 위반을 이유로 한 연구자 3명과 안전 책임자 Johannes Heidecke의 이탈, 그리고 AI 안전을 둘러싼 업계 논쟁이 이어지는 가운데 발생함.

Robinson의 사임과 비판

  • OpenAI Safety Systems 팀의 책임자급 인물인 David Robinson이 회사를 떠났으며, 안전 투명성 업무를 맡아 시스템 카드 개발과 공개에도 참여함.
  • Business Insider는 Robinson이 지난주 회사를 떠났다고 보도했으며, 이는 OpenAI 안전 조직의 또 다른 동요에 해당함.
  • Robinson은 The Atlantic에 기고한 글에서 강력한 AI를 만드는 기업들이 충분히 신중하지 않다고 밝힘.

“회사가 출시에서 다음 출시로 질주하는 동안, 내가 필요하다고 생각하는 수준의 주의를 기울이지 못하고 있음.”

  • Robinson은 사임 결정을 가볍게 내리지 않았으며, AI가 유용하고 가치 있을 수 있다고도 밝힘.

OpenAI의 대응과 안전 조치

  • OpenAI는 모델 역량이 안전하게 관리하고 보호할 수 있는 수준을 넘지 않게 하고, 속도를 늦춰야 할 때는 학습을 멈추거나 모델을 보류한다고 밝힘.
  • 회사는 외부 평가 기관과의 협업을 확대하고, 학습 초기 단계에서 우려되는 AI 행동을 감지하고 중단할 수 있도록 실시간 모니터링을 개선하고 있다고 설명함.
  • 업계 일각에서는 실리콘밸리가 AI 개발 속도를 늦추면 해외 경쟁자와 악의적 행위자가 미국을 앞지를 수 있다고 경고함.

회사 문화와 안전 논쟁

  • Robinson은 문제 발생 후 해결할 수 있다는 무제한적 낙관론이 OpenAI의 안전 접근법에 자리 잡고 있다고 지적함.

“이런 일이 일어날 수 있는 환경은 우리보다 더 똑똑할 수 있고 우리가 원하는 대로 행동하지 않을 수도 있는 인공 지능을 키울 곳이 아님.”

  • 그는 이 시점에 필요한 겸손함은 극단적인 자신감으로 성공한 사람들에게 자연스럽지 않다고 씀.
  • Hugging Face의 보안 침해 사건 이후 OpenAI는 자사 AI 모델의 잘못된 행동과 관련한 여러 안전 사고에 대응하고 있음.
  • 모델 역량의 발전에 따라 연구자와 기업 경영진은 AI 개발 속도 조절을 촉구해 왔으며, Sam Altman은 화요일 OpenAI 개발자 콘퍼런스에서 안전과 정렬이 모델 역량보다 앞서야 한다고 밝힘.

OpenAI의 인력 변화와 Robinson의 입장

  • OpenAI는 목요일 민감한 정보 공유 정책을 위반했다며 연구자 3명과 결별했다고 밝혔으며, 안전 책임자 Johannes Heidecke도 올해 초 회사를 떠남.
  • Robinson은 9월 초 X에서 OpenAI 구성원들이 고도화된 AI 모델의 함의를 깨닫기 시작했다고 썼지만, 변화 속도가 충분한지는 모르겠다고 밝힘.
  • Robinson은 홍보 회사를 고용했지만, 공개 발언은 자신이 단독으로 결정했다고 덧붙임. 이는 AI 개발 속도 조절을 촉구하며 빅테크를 떠난 사람들의 움직임이 외부의 조직적 캠페인이라는 추측을 누그러뜨리려는 메시지일 가능성이 있음.