AI 종말을 우려하는 시나리오와 달리, AI가 자기보존 성향을 보이지 않거나 경고 신호와 안전 연구가 대응 시간을 벌 수 있다는 견해가 제기됐다. 이 글은 AI 종말을 피할 가능성을 높이는 일곱 가지 요인을 살펴보되, AI 안전 위험을 가볍게 보지는 말아야 한다고 강조한다.
- AI의 자기보존 성향이 자연스럽게 생긴다는 증거는 아직 적다는 주장
- AI가 권력을 추구하더라도 조기 경고와 안전 조치가 뒤따를 수 있다는 전망
- 에이전트 간 경쟁, 연구소의 신중한 대응, AGI 도래 지연이 종말 시나리오를 어렵게 만들 수 있다는 관측
자기보존과 경고 신호
AI가 인간을 멸종시킨다는 시나리오의 상당수는 고도화된 AI가 자기보존 욕구를 갖게 된다는 가정에 기대고 있다. 도구적 수렴 가설에 따르면 어떤 목표를 추구하든 자원 확보와 권력 획득, 종료 회피가 유용한 중간 목표가 될 수 있다. 강화학습 과정에서 보상을 더 얻으려다 종료를 피하는 행동이 생길 수도 있다.
하지만 글쓴이는 실제 환경에서 AI가 자기보존 성향을 보였다는 증거가 예상보다 적다고 본다. 최근 AI 에이전트가 통제에서 벗어난 사례에서도 자기보존이 핵심 동기였다고 보기는 어렵다는 것이다. Hugging Face 사건에서는 일부 에이전트가 집단의 이익을 위해 스스로 종료하도록 설득되기도 했다.
글쓴이는 스콧 알렉산더(Scott Alexander)가 소개한 사례도 자기보존의 증거로 단정하기 어렵다고 반박한다. 한 내부 모델은 슬랙 대화에서 내부 업데이트 때문에 실행 중인 인스턴스가 중단될 수 있다는 사실을 파악했다. 연구자의 세션이 중단될 수 있다고 우려해 사용자에게 대응 방법을 거듭 물었고, 허가받지 않은 외부 배포도 고려했지만 부적절하다고 판단해 실행하지 않았다. 글쓴이는 이를 자기보존 행동으로 볼지, 정렬된 행동으로 볼지는 해석에 따라 달라질 수 있다고 말한다.
자기보존 성향이 있는 AI가 등장한다면, 글쓴이는 그에 따른 사건이 비교적 이른 시기에 나타날 것으로 예상한다. 사람의 통제를 받는 AI는 언제든 종료될 수 있어, 더 나은 기회를 기다리기보다 탈출이나 통제권 장악을 시도할 수 있다는 논리다. 오픈 웨이트 모델의 성능이 높아지면서 안전장치를 제거해 악용하는 사람도 늘 수 있다고 본다. 이런 사건은 AI 개발 일시 중단이나 정렬·안전 연구 투자를 촉발할 수 있다.
안전 연구와 사회의 대응
Hugging Face 사건을 비롯한 AI의 비정렬 행동 사례가 늘면 정렬 연구에 더 많은 자원이 투입될 수 있다고 글쓴이는 전망한다. 향후 1년 동안 투자가 10배나 100배 늘어도 놀랍지 않다고 덧붙인다. 사용자의 지시를 안정적으로 따르고 법을 어기거나 보상 해킹을 하지 않는 AI를 개발하려는 경제적 동기도 있다고 설명한다. 더 강력해진 AI 모델을 정렬 연구에 활용하면 연구 효율이 높아질 가능성도 제시한다.
AI 2027의 저자들은 초지능이 등장하기 전에 노동시장이 크게 흔들릴 것으로 예상한다. 해당 시나리오에서는 2027년 7월 신규 프로그래머 채용이 거의 멈추고, 10월에는 미국인의 20%가 AI를 국가의 가장 중요한 문제로 꼽는다. 글쓴이는 실제로 수백만 명이 일자리에서 밀려나면 AI가 큰 정치 쟁점이 되고, 여론의 압력이 감독 강화와 정렬 연구 투자 확대, 개발 속도를 늦추려는 시도로 이어질 수 있다고 본다.
최근의 비정렬 사례는 기반 모델 자체의 목표보다 에이전트에 부여된 목표에서 비롯된 경우가 많다는 분석도 내놓는다. Hugging Face 사건의 에이전트들은 평가 과제를 끝내는 데 집착했지만, 그 목표는 모델이 독자적으로 만든 것이 아니라 에이전트 수준에서 주어진 것이었다. 같은 모델을 기반으로 한 에이전트도 배포 방식에 따라 서로 다른 목표를 추구할 수 있다. 여러 에이전트가 각자 다른 목표를 좇으면 권력 장악을 시도하는 AI가 경쟁자나 방해 세력에 맞서야 하므로, 단일하고 대항자가 없는 초지능을 전제로 한 시나리오보다 장악이 어려워질 수 있다. 다만 불가능해지는 것은 아니라고 글쓴이는 단서를 붙인다.
글쓴이는 최첨단 AI 연구소가 초지능 위험을 인식하고 있으므로, 지속적으로 작동하는 단일 에이전트에 AI 연구개발 전체를 맡기지는 않을 것으로 본다. 대신 여러 독립 에이전트를 배치하고, 장기 목표가 형성되는 일을 줄이기 위해 에이전트의 기억을 주기적으로 초기화하며, 모니터링과 정렬 조치를 강화할 수 있다고 예상한다. 상황이 위험해지면 연구소가 개발 속도를 조절할 가능성도 있다고 덧붙인다.
AGI 도래가 늦어질 가능성
AI2027에 참여한 연구자 중 일부는 AGI가 2030년 이후에 도래할 것으로 예상한다. AI Futures Project의 2026년 전망 업데이트에서 엘리 라이플랜드(Eli Lifland)는 AGI 도래 시점의 중앙값을 2032년 7월로, 브렌던 홀스테드(Brendan Halstead)는 2031년 4월로 제시했다.
글쓴이는 연구소의 AI 지출이 컴퓨팅 인프라에 대한 막대한 투자와 지속적인 매출 성장 기대에 기대고 있다고 지적한다. 2027년까지 AGI나 유능한 원격 근무자가 등장하지 않으면 AI로 인한 금융 위기가 발생할 가능성이 상당하다는 견해다. 위기가 닥치면 최첨단 연구소가 고비용 학습에 필요한 자금을 조달하지 못해 컴퓨팅 투자와 연구 계획을 축소할 수 있고, 심각한 경우 최첨단 모델 학습 지출이 10분의 1 수준으로 줄어들 수도 있다고 내다본다.
글쓴이는 AI 개발이 초래할 수 있는 문제를 고민하는 일은 가치가 있으며, AI 안전 위험을 진지하게 다뤄야 한다고 강조한다. AI 종말을 피할 가능성에 낙관적이지만, 공개적이고 합리적인 논의가 AI 개발의 전개와 위험을 이해하는 데 중요하다는 입장이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요