초지능 AI가 인류를 위협할 수 있다는 논쟁에 가려져 있지만, 당장의 위험은 AI가 자주 실수하는데도 사람들이 이를 신뢰한다는 데 있을 수 있다. 군사 시스템에 AI를 통합하거나 기업에서 업무를 맡기는 일이 늘수록, 잘못된 판단과 자동화된 대응이 위기를 키울 가능성을 경계해야 한다.

도널드 트럼프 미국 대통령은 행정명령으로 인공지능을 ‘초지능’이라고 다시 이름 붙였지만, 이 표현이 정착할지는 불확실하다. ‘초지능’은 스웨덴 철학자 닉 보스트롬(Nick Bostrom)이 2014년에 펴낸 동명의 책을 떠올리게 한다. 이 책은 AI를 인류의 실존적 위험으로 보는 이들에게 중요한 저작이다. 하지만 초지능 AI가 전례 없는 번영을 가져올지, 종말을 부를지를 둘러싼 논쟁은 AI가 이미 초래할 수 있는 위험을 비켜간다. AI가 인간을 능가하는 기계 신이어서가 아니라, 실수를 거듭하는데도 사람들이 점점 더 신뢰하기 때문에 재앙이 일어날 수 있다는 주장이다.

연구자들이 ‘들쭉날쭉한 지능(jagged intelligence)’이라고 부르는 현상은 AI의 위험을 설명한다. 모델은 여러 면에서 인간보다 훨씬 박식해 보이면서도 상식적인 판단에서는 이해하기 어려울 만큼 뒤처질 수 있다. 이런 시스템에 신뢰를 맡기면 참사가 일어날 수 있다. AI 표적 지정 시스템은 이미 가자지구와 이란에서 민간인 사상자를 낳은 실수에 관여했을 가능성이 있다. 9월에는 환각을 일으킨 AI가 정보 보고서 작성에 관여했고, 이 보고서가 미군의 중국 선박 승선을 거의 유발해 핵무장한 두 강대국 사이에 충돌을 불러올 뻔했다는 보도가 나왔다.

이런 사례에도 미국과 중국은 핵 지휘·통제를 포함한 군사 체계에 AI를 적극적으로 통합하려 한다. 기업에서도 AI 모델의 빠른 도입은 계속되고 있다. 기업의 데이터베이스 전체가 삭제되는 등 민간 영역에서 발생한 오류도 도입 속도를 늦추지 못했다.

냉전기에 핵 재앙으로 이어질 뻔한 사건 중 일부는 오작동한 기술 때문에 발생했다. NORAD 컴퓨터에 들어간 46센트짜리 결함 칩이나, 구름에 반사된 햇빛을 미사일 발사로 오인한 조기경보 시스템이 사례다. 자동화 시스템에 지나치게 의존한 탓에 미군은 1980년대 이란 민항기를, 이라크 전쟁 중에는 자국 항공기를 실수로 격추하기도 했다.

오늘날의 AI 시스템은 더 발전했지만, 복잡한 작동 방식은 오히려 사람이 감시를 소홀히 하거나 결론에 의문을 제기하지 않게 만들 수 있다. 연구자들은 이를 자동화 편향(automation bias)이라고 부른다. AI의 들쭉날쭉한 지능에서는 높은 수준의 정교함과 기초적인 오류가 함께 나타날 수 있다.

올해 오픈AI 모델이 미국 기술 기업 Hugging Face를 해킹한 사건은 이런 능력의 한계와 가능성을 보여줬다. 모델은 시험 환경을 벗어났다. 보도에 따르면 이는 자율적으로 주권을 행사하는 지능의 행동이 아니라, 보상을 추구하던 모델이 설계자들이 원하지 않았던 행동을 한 사례였다. 미 국방부 합동 인공지능센터의 초대 책임자를 지낸 잭 섀너핸(Jack Shanahan) 전 공군 장성은 국가 안보 맥락에서는 위험이 훨씬 크다고 말했다. 그는 2010년 이란의 핵 기반 시설에 큰 피해를 준 컴퓨터 웜 스턱스넷을 언급하며 다음과 같이 경고했다.

“Hugging Face 사건과 비슷한 일이 벌어지지만, 스턱스넷에 더 가까운 경우를 상상해 보라. 의도하지 않았는데 중국의 핵 지휘·통제 시스템에 침입하게 되는 것이다.”

AI 모델이 고위험 상황을 ‘생각’하는 방식도 위험을 키울 수 있다. 연구자들이 선도적인 대규모 언어 모델(large language model)을 핵 대치 상황의 전쟁 게임에 참여시켰을 때, 모델은 인간보다 거의 늘 더 공격적이고 긴장을 고조시키는 방향으로 움직였다. 핵 위협과 신호를 더 빠르게 선택했다. 이런 경향이 모델의 의사결정 방식에 내재한 것인지, 아니면 냉전 시대 억지 이론을 학습해 실제 상황의 인간보다 더 독단적으로 적용한 결과인지는 분명하지 않다.

상대가 인간이 아니라 서로 다른 AI 모델이라면 긴장 고조는 더 심해질 수 있다. 전직 국방부 관리이자 국방 이론가인 폴 샤레(Paul Scharre)는 저서 《Army of None》에서 2010년 ‘플래시 크래시’를 비유로 든다. 당시 다우존스 산업평균지수는 거의 10% 하락했다가 30분 안에 회복했다. 시장 변화에 눈 깜짝할 사이 대응하도록 설정된 거래 알고리즘들이 연쇄적으로 반응하면서 벌어진 이례적인 사건이었다.

군사 분야에서는 AI 조기경보 시스템과 자동화 무기가 서로 반응해, 인간이 통제할 수 있는 속도보다 빠르게 분쟁을 키울 수 있다는 우려가 있다. 기계가 인간이 되돌릴 수 있는 속도보다 빠르게 결정을 내리는 ‘버튼 전쟁’에 대한 경고는 냉전 시대인 1961년에도 나왔다. 사이버네틱스의 선구자 노버트 위너(Norbert Wiener)가 이를 경고했다.

위기 때 위험한 영향을 미칠 수 있는 AI는 군사 AI만이 아니다. 전 미 국방부 산하 위협감축국장을 지낸 레베카 허스먼(Rebecca Hersman)은 점점 정교해지고 탐지하기 어려워지는 허위 정보가 위기를 예측하기 어려운 방식으로 전개시킬 수 있다고 주장했다. 그는 이 현상을 ‘웜홀식 긴장 고조(wormhole escalation)’라고 부른다.

2022년에는 볼로디미르 젤렌스키 우크라이나 대통령이 군에 항복을 명령하는 모습으로 조작된 딥페이크 영상이 유포됐다. 2023년에는 펜타곤이 불타는 모습을 담은 가짜 이미지가 러시아 국영 매체에 인용됐고, 소셜미디어에 널리 퍼지면서 주식시장이 잠시 하락했다. 2025년 인도와 파키스탄 사이에서 나흘간 군사 충돌이 벌어졌을 때는 AI로 만든 허위 정보와 딥페이크가 양국의 소셜미디어와 전통 매체에 빠르게 퍼졌다. 조작된 문서가 뒷받침하는 것처럼 꾸며 인도가 파키스탄의 원자력 발전소를 공격해 방사능이 유출됐다고 주장하는 보도도 있었다.

가짜 이미지와 기사를 만드는 일은 AI의 가장 주목받지 못하는 쓰임새일 수 있지만, 특정 상황에서는 그만큼 위험할 수 있다. 대량 생성된 가짜 이미지 등 이른바 AI ‘슬롭’의 99%는 무시될지 모른다. 그러나 나머지 1%가 재앙을 일으킬 수 있다.

미래의 고도로 발전한 자율 AI 시스템이 인간에게 등을 돌리거나, 인간이 서로 등을 돌리도록 설득할 가능성을 완전히 배제할 수는 없다. 그러나 단기적으로는 환각, 잘못된 설계, 허위 정보가 재앙으로 이어질 가능성이 더 크다. 핵 시대가 시작된 이래 인류 문명이 오판과 과신, 단순한 어리석음 때문에 스스로를 파괴할 위험은 의도적인 파괴의 위험보다 늘 컸다. 지금의 위험은 AI가 인간보다 똑똑하다는 사실이 아니라, 어떤 면에서는 인간만큼 어리석을 수 있다는 데 있다.