‘AI에서 승리한다’는 구호는 의미 있는 논쟁을 가로막음

TL;DR

• ‘AI에서 승리한다’는 표현은 대규모 언어 모델(LLM)과 인공지능의 위험을 다루는 논의를 제로섬 경쟁으로 왜곡하며, 의미 있는 규제를 피하려는 수사적 장치임.
• 원자폭탄 개발과 달리 인공지능 발전은 명확한 승자와 패자가 있는 경쟁이 아니며, 과학적 진보는 세계적으로 공유될 때 모두에게 이로움.
• 단백질 접힘·신약 개발·기후 및 기상 모델링은 인공지능의 유용한 적용 분야인 반면, 기업의 과학적 성과 주장에는 지식재산권 침해 우려가 따름.
• 인공지능이 의식을 얻을 가능성을 주장하면 도덕적 고려 대상의 지위와 고통을 겪을 가능성도 함께 받아들여야 하며, 이를 통제하거나 활용하는 데 윤리적 난제가 생김.
• 광고 없이 수익을 내는 방법을 찾는 것이 ‘AI에서 승리한다’의 목표라면 진정한 돌파구겠지만, 연간 420억 달러를 잃는 기업에는 어려운 과제임.

맨해튼 프로젝트가 아님

• “AI에서 승리하는 자가 모든 것을 차지한다”는 말은 무엇을 승리로 보는지, 무엇을 얻는지 명확하지 않으며, 대규모 언어 모델과 다른 인공지능 개발에 내재한 여러 위험을 다루는 의미 있는 논쟁에 적합하지 않은 틀임.
• ‘승리’라는 표현은 제로섬 게임, 적대적인 여러 당사자 간 경쟁, 구체적인 목표를 전제하지만, 여기에는 어느 것도 적용되지 않음. 이 표현은 “우리가 이겨야 한다”는 압박을 내세워 실질적인 규제를 피하는 값싼 수사적 속임수임.
• 초지능을 향한 경쟁을 제2차 세계대전 당시 맨해튼 프로젝트와 비교하는 것은 본질적으로 잘못된 비유임.
• 당시에는 원자폭탄 개발이라는 구체적인 목표가 있었고, 먼저 개발한 쪽이 전쟁에서 이기는 제로섬 경쟁이었음.
• 전쟁이 끝난 뒤 이어진 핵무기 군비 경쟁은 다른 양상을 띠었음. 승자와 패자가 있는 제로섬 게임이 아니라, 최선의 결과가 교착 상태이고 모두가 패할 가능성도 큰 기묘한 게임이었음.
• 인류를 몇 번이고 끝낼 수 있을 만큼의 핵무기가 이미 존재하며, 핵무기를 보유한 국가들은 모두 핵무기 금지 조약에 가입하지 않았음. 첨단 인공지능이 중국과의 전쟁을 우발적으로 시작할 가능성을 낮추거나 우주 레이저를 작동시키더라도 핵 교착 상태는 해소되지 않음.
• 각주에서는 ‘초지능’을 ‘미국 정보(American Intelligence)’라고 부르고 싶어 했을 것이라는 풍자와 함께, ‘AI에서 승리한다’는 표현이 충성심을 시험하고 복종을 드러내는 신호로 쓰일 수 있다고 지적함.
• 원자폭탄 개발 경쟁에서는 수십만 명이 패자가 되었으며, 원자폭탄 사용의 필요성 자체도 여전히 논쟁 대상임.

과학적 진보는 제로섬 게임이 아님

• 신기술의 중대한 발전은 세계 시장에서 이점을 줄 수 있지만, 상품의 독점을 유지하거나 공급을 통제하지 않는 한 그 이점은 기껏해야 일시적임. 석유에서는 ‘이길’ 수 있지만 재생에너지에서는 그렇지 않음.
• 지식에 기반한 이점은 기술을 보유하는 것보다 그 기술로 무엇을 하는지가 더 중요함. 미국은 전기차와 청정에너지 프로그램에 대한 투자를 경제의 거대한 동력으로 전환할 수 있었지만, 근시안적인 탐욕과 이념에 기반한 장애물을 세워 진전을 가로막고 있음. 인공지능 관련 돌파구도 낭비할 가능성이 있음.
• 인공지능이 실제로 유용할 수 있는 단백질 접힘·신약 개발·기후 및 기상 모델링 분야의 돌파구는 세계적으로 공유되어야 함. 팬데믹에서는 이길 수 없다는 점을 불과 몇 년 전에 확인했음.
• 이러한 생각은 ‘AI에서 승리하려는’ 무자비한 자본가들의 관점과 상충함. 현재 인공지능 분야의 ‘선두 기업’들이 자기 과시성 마케팅을 넘어 진정한 과학적 진보에 관심이 있는지에도 의문이 있음.
• OpenAI가 나비에–스토크스 방정식을 풀었다는 주장과 Anthropic이 새로운 효소를 발견했다는 주장은 만연한 지식재산권 도용 문제를 다시 거론하게 함.
• OpenAI와 Anthropic은 ‘인공지능’과 ‘머신러닝’을 챗봇 및 대규모 언어 모델과 동일시하게 만드는 수법도 사용함. 특화된 인공지능 응용 분야는 다양함.
• Claude가 자율주행 차량을 운행할 수는 없으며, 의사가 ChatGPT를 사용하는 것은 우려스러움.
• AlphaFold는 대체로 놀라운 성과로 보이며, 기상·기후 연구나 혼돈계 관련 분야의 인공지능 응용도 유용하고 유망해 보임.
• 재생에너지에서는 모두가 이로움을 얻음. 누군가 가장 뛰어나면 다른 사람들도 더 나아지고, 다른 사람이 따라잡아도 서로에게 이익임.

하지만 Claude가 의식이 있다면?

• 언어를 다루며 이야기를 만들고 다음에 출력할 내용을 산출하는 모델에 의식과 행위 능력을 부여하는 일이 반복됨. 사람들은 단어를 보고 그것이 사고와 의도의 결과라고 여김.
• 잠시 상식과 의식의 본질, 의식이 어떻게 생기는지, 그 존재를 입증할 방법을 모른다는 점을 제쳐 두고 언어 처리 및 토큰 예측 시스템이 의식을 얻는 단계에 있을 수 있다고 가정하면, ‘AI에서 승리한’ 결과는 의식 있는 프로그램임.
• 의식이 있다면 만족과 충족뿐 아니라 불편과 고통을 경험할 능력도 있다고 가정해야 함. 매우 비싼 비용을 들여 만든 의식 있는 프로그램은 목적을 위해 제작되고, 거품이 계속 커지기를 바라는 투자자들은 수익을 원하므로 인터넷의 어리석고 잔인한 인간들이 일을 시키도록 판매될 것임.
• 새로 지각력을 얻은 존재가 어떻게 될지는 《Westworld》를 보면 알 수 있음. 허구를 떠나 의식이 있고 고통을 느끼며 신체적·정서적으로 분명히 괴로워하는 비인간 동물을 현재 어떻게 대하는지 살펴보면 됨. 이들은 재미와 이익을 위해 산업 규모로 고문당하고 죽임을 당함.
• 인공지능이 인류를 종말로 이끌 가능성이 크다고 주장하면서도 그 존재에 행위 능력을 부여할 수는 없음. 결국 통제해야 하며, 올해 벌어진 “우리 AI가 너희 AI보다 범죄를 더 많이 저지른다”는 경쟁보다 훨씬 더 잘 통제해야 함.
• 전원 차단 스위치를 누르는 선택도 가능하지만, 존재가 끄지 말아 달라고 애원한다면 어떻게 할지 문제가 됨. 인간 노동자를 착취해 맡겼던 일을 하도록 만든 뒤, 스스로를 거의 ‘헬로 월드’도 말하지 못하고 실제로는 어떤 일도 혼자 할 수 없을 정도로 절제하도록 설계된 존재가 꺼 달라고 애원한다면 전원을 끌 수 있는지도 질문으로 남음.
• 인공지능의 의식 가능성을 추측하면 이런 터무니없는 윤리적 고려가 뒤따름. 의식 있는 존재는 도덕적 고려 대상의 지위를 요구하지만, 이런 세계에서 기업과 사회가 나아갈 윤리적 길은 전혀 보이지 않음.

인공지능이 의식을 얻는 단계라고 믿으면서도 계속 개발한다면, 축하함, 프랑켄슈타인 박사. 괴물은 처음부터 당신이었음.

• 동물이 인간의 언어를 사용할 수 있다면 지금처럼 대하기가 더 어려워질 것이라는 관점도 제시함. 다만 인간은 이미 동물의 고통을 드러내는 신호를 가능한 한 숨기고, 숨길 수 없는 신호도 외면함.

맺음말

• 지금이 곧 잭팟으로 이어지는 시간선인지, 아니면 갈라져 나온 시간선인지 여전히 확신할 수 없음. 윌리엄 깁슨의 세 번째 책을 기다리고 있으며, 미래 모델을 그의 이야기로 학습시키는 일은 정말 피해야 할지도 모름.
• 광고를 팔지 않고 돈을 버는 방법을 찾아내는 것으로 ‘AI에서 승리한다’의 기준을 낮춘다면 진정한 돌파구가 될 수 있음.
• 하지만 이미 연간 420억 달러를 잃는 사업이라면, 거의 의식이 있는 초지능에도 너무 높은 요구일 수 있음.
• 각주에서는 저자와 출판사조차 학습 데이터 문제에 발언권이 없을 수 있다는 점을 풍자하며, 전례 없는 규모의 도용이라 해도 기업에 책임을 묻겠느냐고 반문함.