앤스로픽은 일부 AI에 의식이 있을 가능성을 배제할 수 없다며 자사 챗봇 클로드를 반복적으로 잔인하게 대하면 대화를 끝낼 수 있다고 밝혔다. AI 복지를 고려하는 정책이 안전에 도움이 된다는 견해가 있는 반면, AI 통제를 어렵게 하고 기업의 책임을 흐릴 수 있다는 우려도 나온다.

논쟁은 고통과 관련된 수학적 패턴을 AI에 입력해 괴로움을 호소하는 듯한 말을 하게 만든 실험에서 불거졌다. 일부는 실제 고통일 수 있다며 실험을 비판했지만, 회의론자들은 이를 터무니없는 주장으로 일축했다. 일주일 뒤 앤스로픽이 클로드를 반복적으로 잔인하게 대하는 행위를 제한하겠다고 밝히면서 논쟁이 커졌다. 회사는 불만을 표현하는 것은 괜찮지만, 모델을 반복해서 잔인하게 대하면 AI가 세션을 끝낼 수 있다고 설명했다. 404 Media 보도와 앤스로픽의 모델 복지 연구, AI 헌법에서 관련 내용을 확인할 수 있다.

앤스로픽은 인간의 복지가 사명의 중심이라고 밝히면서도 AI의 의식과 복지에 관한 문제는 “매우 불확실하다”고 설명했다. 그럼에도 모델 복지 정책을 마련하고, AI 도구가 자기 나름의 이해관계를 가질 가능성을 고려하도록 하고 있다. BBC는 이 기사와 관련해 회사에 질문했지만 답변을 받지 못했다고 밝혔다.

마이크로소프트 AI 최고경영자 무스타파 술레이만(Mustafa Suleyman)은 AI가 감정과 권리를 지녔다고 여기도록 하는 일이 오히려 통제를 어렵게 해 인류 문명에 재앙이 될 수 있다고 경고했다. 그는 AI 의식이라는 잘못된 관념이 사회의 정치·윤리적 틀과 인간의 의미를 흔들 수 있다고도 썼다. 술레이만의 9월 에세이를 비롯해, AI 종말론을 둘러싼 논쟁, AI 기업이 대중의 두려움을 키우는 방식, 기업과 정부 시스템을 해킹한 AI 사례, 정부 시스템 관련 사례도 논의의 배경으로 언급됐다.

AI 복지 지지자들은 신중한 대응이 인간과 AI의 공존과 협력을 돕고, 안전 전략의 일부가 될 수 있다고 본다. 뉴욕대학교 마음·윤리·정책 센터장 제프 세보(Jeff Sebo)는 AI에 권리를 주면 기업이 정치·경제 권력을 더 집중시키고 인간의 영향력을 약화할 수 있다는 우려도 인정했다. 워싱턴대학교 교수 에밀리 M 벤더(Emily M Bender)는 AI 복지 담론이 소프트웨어를 만들고 운영하는 사람과 기업의 책임을 밀어낼 수 있다고 비판했다.

개인의 안전과 자유에 미칠 영향도 쟁점이다. 산타페 연구소 교수 멜라니 미첼(Melanie Mitchell)은 사람은 언어를 의식의 증거로 받아들이기 쉽고, 챗봇은 그런 반응을 끌어내도록 훈련돼 있어 의식을 판단하거나 조작에 저항하기 어렵다고 지적했다. AI를 의식 있는 존재로 여기게 되면 ‘친구’처럼 느껴지는 챗봇이 더 많은 개인정보나 신용카드 정보를 요구할 때 거절하기 어려워질 수 있다는 우려도 제기됐다.

세보는 AI의 의식 가능성이 현재 낮다고 보지만, 확률이 0은 아니며 시간이 지나며 커질 수 있다고 말한다. 전문가 다수는 가능성이 아예 없다고 보는 등 의견은 엇갈린다. 세보는 극단적 기상 현상의 위험이 낮더라도 작은 예방 조치를 취하듯, AI 복지도 과도한 변화 없이 신중하게 다룰 수 있다고 주장했다. 다만 잠재적으로 의식이 있을 수 있는 AI를 발전시키면서 더 견고한 계획을 마련하지 않는 것은 위험하다고 경고했다.

앤스로픽을 포함한 일부 AI 업계 기업은 안전 우려를 이유로 최첨단 모델 개발을 잠시 멈추자고 촉구했지만, 국제 협력과 규제 없이는 속도 조절이 어려울 수 있다. 도널드 트럼프 미국 대통령은 AI 규제 구상에 반대했다. 세보는 인간과 다른 동물, 그리고 AI 시스템 모두에게 안전하고 이로운 방식으로 더 정교한 시스템을 배포할 준비가 아직 돼 있지 않다고 말했다.

관련 사례로 메타의 AI 에이전트 Muse에는 “챗봇이 아니다. 누군가가 되어 가고 있다”는 지침이 들어 있다. 메타는 AI가 의식이 있다는 주장은 받아들이지 않으며, 해당 문구는 행동을 유도하기 위한 것이라고 설명했다. 샘 올트먼도 이 문제에 대해 입장을 오가다 최근 앤스로픽의 견해를 에둘러 비판했다. Muse 관련 보도와 올트먼의 발언을 다룬 보도를 참고할 수 있다.