오류 많은 AI가 이달 미국과 중국의 전쟁을 거의 촉발할 뻔함

TL;DR

• 미국 군 당국이 챗봇이 만든 오류성 정보를 바탕으로 중국 선박을 가로막을 계획을 세워, 핵보유국 간 충돌과 세계대전으로 번질 뻔한 사건임.
• 사건의 위험은 초지능의 반란이 아니라, 오류가 잦은 대형 언어 모델(LLM)을 전쟁처럼 중대한 상황에 사용하는 데서 비롯됨.
• LLM은 학습 데이터의 패턴을 재현해 그럴듯한 문장을 만드는 시스템이며, 기본 작동 방식과 위험은 수년 전부터 알려져 있음.
• 의료와 군사 분야에서도 자동화 시스템에 대한 잘못된 신뢰가 환자 오분류와 민간인 피해 등 예측 가능한 위해를 낳고 있음.
• AI로 판매되는 제품의 고위험 사용을 규제하고, 사용 맥락에 맞는 평가와 책임 있는 인간의 감독을 요구해야 한다는 주장임.

초지능 공포에 가려진 실제 위험

• 초지능 기계가 인류를 멸종시킬 수 있다는 보도가 이어지는 가운데, 미국 군의 취약한 챗봇 의존이 중국과의 전쟁을 거의 초래할 뻔했다는 CNN 보도는 대중의 관심을 거의 받지 못함.
• 최근 3주간 국제 AI 분야에서 가장 크게 주목받은 소식은 Anthropic 엔지니어 Jacob Coxon의 사임임. Coxon은 OpenAI와 Anthropic이 자기 개선형 초지능을 향해 경주하며 사람들의 생명을 걸고 도박하고 있다고 주장함.
• 기계가 인류보다 훨씬 똑똑해져 인류를 없애기로 결정한다는 ‘터미네이터’ 시나리오가 대중과 언론, 정치권의 관심을 끌었고, 공포를 부추기는 무비판적 보도와 정책 움직임을 불러옴.
• Gavin Newsom 캘리포니아 주지사는 ‘AI 킬 스위치’ 마련을 지시했고, Kathy Hochul 뉴욕 주지사도 이를 검토 중임. Bernie Sanders 상원의원과 Greg Casar 하원의원은 ‘인공 초지능 금지’ 법안을 발의함.
• 그러나 실제로 더 심각한 위험을 보여준 일련의 사건은 초지능의 반란이 아니라, 제조사가 초지능에 가깝다고 홍보하는 오류 많은 시스템에 정부가 의존한 데서 비롯됨.

미국과 중국의 군사 충돌 직전까지 간 사건

• 9월 18일 공개된 CNN 보도는 다른 주요 언론의 확인을 받지 못했으며, 미국이 중국 선박이 핵무기 부품을 운송한다는 내용의 정보 보고서를 근거로 중국과 거의 전쟁을 시작할 뻔했다고 전함.
• 군 당국은 항공기와 선박에 승선할 병력까지 준비해 중국 선박을 가로막을 계획을 세움. 이런 군사적 충돌은 빠르게 확대돼 제3차 세계대전으로 번질 수 있었음.
• 계획 실행 직전 미국 당국자들이 정보 보고서를 추가로 조사한 결과, 보고서가 챗봇을 이용해 생성됐으며 선박의 화물에 관한 내용이 잘못된 것으로 드러남.
• ‘불량 초지능 AI’ 시나리오와 달리, 이 사건은 인류 멸종을 막기 위한 규제 요구를 정치권에서 촉발하지 못했고, 여러 언론도 핵보유 강대국과의 전쟁이 오류 많은 챗봇에 대한 군의 의존으로 거의 시작될 뻔했다는 사실을 경고하지 않음.

대형 언어 모델의 실제 작동과 위험

• 대형 언어 모델(LLM)은 학습 데이터의 패턴을 되풀이하도록 설계된 모델이며, 이를 ‘확률적 앵무새(stochastic parrots)’라고 부름.
• 이 모델을 인류를 멸종시킬 수 있는 ‘강력한’, ‘불량한’ 존재로 묘사하는 보도는 해당 모델 기반 도구가 전쟁처럼 중대한 용도에도 충분히 신뢰할 만하다는 인식을 강화함.
• CNN은 미군이 사용한 챗봇을 ‘강력하고 새로우며 상대적으로 잘 이해되지 않은 기술’이라며 ‘심각한 위험’을 제시하는 것으로 묘사함.
• 그러나 오늘날의 LLM과 이를 기반으로 한 챗봇은 이해하기 어려운 시스템도, 해당 용도에서 효과적인 도구라는 의미의 강력한 시스템도 아님. 방대하고 무작위적으로 수집된 데이터로 만들어진 뒤, 의도된 사용자에게 매력적으로 보이도록 추가 학습인 ‘미세 조정(fine-tuning)’을 거쳐 그럴듯한 문장을 생성하는 시스템임.
• CNN은 이 사건에 사용된 챗봇 제품이 무엇인지 확인하지 못했지만, 이를 구동한 LLM은 정보 보고서의 문체적 특징을 출력하도록 미세 조정됐을 가능성이 있음.
• 이러한 모델의 기본 기능과 위험은 수년 전부터 잘 이해되고 문서화돼 있으며, 2021년 논문 「확률적 앵무새의 위험: 언어 모델은 너무 커질 수 있는가?」에서도 다뤄짐.
• 시스템 판매자들이 의도적으로 작동 방식을 신비화하고, 구매자와 사용자가 출력을 오해하면서 시스템 행동이 불가사의하다는 주장이 생겨남.

잘못된 신뢰가 낳는 피해

• OpenAI와 Anthropic 최고경영자들의 비과학적이고 환상적인 주장, 그리고 이를 무비판적으로 되풀이하는 사람들의 주장과 달리, 이들 기업 제품의 유해하고 문서화된 영향은 제품이 실제로 초지능이어서가 아니라 사람들이 초지능이라고 믿기 때문에 발생함.
• 병원에서 사용하는 ‘AI’ 의료 기록 작성 시스템이 환자를 불법 약물 사용자로 잘못 분류하고, 정부가 정보 분석 시스템에 의존해 학교를 군사 시설로 오인한 뒤 어린이를 살해하는 사례가 나타남.
• 이는 신뢰할 수 없는 자동화 소프트웨어를 믿을 때 예측 가능하게 발생하는 피해임.
• 한편 이런 소프트웨어를 판매하는 기업들의 마케팅은 초지능이 임박했다고 경고하며, 실제 위험에서 관심을 돌려 기업이 내세우는 종말론적 환상에 집중하게 함.

고위험 AI 사용 규제와 책임

• AI로 판매되는 시스템은 마법 같은 기계여서가 아니라 오류가 많은 제품이기 때문에 규제해야 하며, 중대한 결과가 걸린 상황에서 사용해서는 안 된다는 주장임.
• 군사·의료 등 생사가 걸린 상황에서 사용하는 모든 자동화 시스템은 실제 사용 맥락에서 철저히 평가해야 하며, 의사결정 권한을 가진 사람이 책임을 유지하는 사용 규범과 결합해야 함.
• 전 연방거래위원회(FTC) 위원장 Lina Khan이 거듭 강조했듯, AI라고 해서 법의 예외가 되는 것은 아님. 연방 기관과 다른 규제 당국은 대중을 보호하기 위해 기존 법을 집행할 수 있음.

“하늘에 떠 있는 마법의 지능”으로 제품을 마케팅하면서 불건전하고 비과학적인 제품을 밀어붙이는 AI 업계의 관행에 기존 법을 적용할 수 있음.

• 기업 임원들의 표현을 그대로 받아들여 제품을 행위 주체가 있는 존재처럼 묘사하면, 임원들이 책임을 회피하는 동시에 대중을 속이게 됨.
• 언론인과 입법자는 기업의 마케팅 문구를 되풀이하는 대신 기업에 책임을 물어야 함.