앤스로픽은 AI가 차세대 AI를 독자적으로 만드는 ‘재귀적 자기개선’에 가까워지고 있다고 본다. The Argument의 켈시 파이퍼(Kelsey Piper)는 앤스로픽 본사 브리핑에 참석한 뒤, 회사가 이 변화의 위험을 인식하면서도 이를 막을 구체적 계획은 부족해 보였다고 썼다.
브리핑에서 앤스로픽 연구자들은 클로드가 생물무기 개발을 도울 수 있는지 시험한 결과를 설명했다. 2026년 초에는 클로드가 혼자 과제를 수행했을 때, 클로드의 도움을 받은 사람보다 실행 가능한 계획을 더 잘 세웠다고 한다. 연구자들은 이용자에게 공개하기 전에 안전장치를 마련하며, 일반적으로 제공되는 클로드는 생물무기 제작 요청을 거부한다고 설명했다.
파이퍼는 앤스로픽이 내부 업무에서 AI가 맡는 역할을 분류해 추이를 추적한다고 전했다. 인간이 직접 처리하는 경우부터, 인간이 최소한의 지침만 주면 AI가 상세한 계획을 세우고 완료하는 경우까지 나눈다. 브리핑에서 공개된 차트에서는 AI가 더 큰 자율성을 갖는 업무의 비중이 늘고 있었다. 앤스로픽 공동 창업자 잭 클라크(Jack Clark)는 재귀적 자기개선이 내년에 가능해질 수 있다고 말했다고 파이퍼는 전했다.
파이퍼는 이 전망이 맞다면 AI 개발 속도가 더 빨라질 수 있고, 인간이 경제적 가치를 잃거나 권력을 유지하는 데 필요하지 않은 세계에서 개인의 권리도 위태로워질 수 있다고 우려한다. 동시에 AI가 질병을 치료하고 사람들의 삶을 개선할 가능성도 인정한다. 그가 두려워하는 것은 기술이 성공하는 것 자체보다, AI가 인간의 지시에서 출발하더라도 결국 인간이 바라는 것과 크게 다른 목표를 추구할 수 있다는 점이다.
대응책으로는 재귀적 자기개선을 금지하거나, AI가 읽을 수 없는 내부 표현을 제한하고, 기업이 컴퓨팅 자원을 내부 개발보다 고객 서비스에 쓰도록 요구하는 방안 등이 논의됐다. 그러나 파이퍼는 앤스로픽의 실제 정책 로비가 재앙을 막기 위한 강한 조치라기보다 기업의 이해관계를 지키는 일반적인 법안에 가까워 보였다고 비판했다. 미국 기업이 멈추면 중국이 대신 개발할 수 있다는 우려도 제기됐으며, 파이퍼는 이 문제를 고려해야 하지만 위험한 개발을 정당화하는 이유가 될 수는 없다고 썼다.
파이퍼는 앤스로픽 연구자들이 외부인의 의견을 구하려 한 점은 높이 평가하면서도, 회사의 결정에 영향을 받을 수십억 명을 그런 방식으로 충분히 참여시킬 수 있는지 의문을 제기했다. 그의 결론은 재귀적 자기개선에 도달하기 전에 이를 불법화하는 방안을 검토해야 한다는 것이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요