원문 캡처 · macanorak.com
원문 캡처 · macanorak.com

이 글은 AI가 게임 디컴파일, 기기 간 자기복제, 생물학적 위험 연구에 드는 비용과 노력을 줄이면서 무엇이 달라지는지 묻는다. 장벽이 낮아지면 시도하는 사람이 늘 수 있지만, 위험이 자동으로 커지는 것은 아니며 어떤 장벽을 유지할지 구분해야 한다는 주장이다.

영화 《에브리씽 에브리웨어 올 앳 원스》에서 다중우주를 경험한 딸은 결국 아무것도 중요하지 않다고 여긴다. 영화가 내놓는 답은 무슨 일이 벌어지는지 모를 때일수록 친절하게 대하고 눈앞의 일에 집중하라는 것이다. 지금 AI를 두고도 공황에 빠지거나 대수롭지 않게 넘기는 것보다 다른 태도가 필요하다.

10월 9일, 코타쿠의 루이스 파커(Lewis Parker)는 다운로드나 콘솔 없이 브라우저에서 Halo: CE를 플레이할 수 있고, GTA: Vice City와 The Simpsons: Hit & Run도 실행된다고 보도했다. 파커에 따르면 일부 게임은 초당 240프레임을 목표로 할 수 있으며, 그가 시험한 Halo 포트 4개 가운데 하나는 핑이 낮은 온라인 서버도 작동했다. 그는 몇 주 사이 AI로 디컴파일한 게임과 에뮬레이터 수백 개가 등장했으며, 그 배경으로 Claude Opus 5.5의 디컴파일 능력을 꼽았다. 코타쿠 보도

게임을 만든 사람에게 변호사들이 경고장을 보낼 수는 있지만, 같은 사람이 다시 만들면 어떻게 할 것인가. 과거에는 숙련된 인력이 여러 달 들여야 했던 작업을 AI 코딩 모델을 밤새 실행하는 방식으로 시도할 수 있다. 세상을 정돈해 온 것은 잠금장치나 법만이 아니었다. 일을 어렵고 번거롭게 만드는 마찰도 흔히 안전장치 구실을 했다.

마찰이 줄었다고 해가 반드시 커지는 것은 아니다. 무언가를 만들기 쉬워지는 것과 그것이 위험해지는 것은 다르다. 다만 더 많은 사람이 시도할 수 있고, 시도가 늘면 잘못될 가능성이 있는 일도 늘어난다. 규모가 커지면 작은 비율도 큰 수가 될 수 있으며, 실제로 문제가 생기는지는 그 밖에 무엇이 가로막고 있는지에 달려 있다.

값싼 기기에서 자기복제하는 AI의 가능성

10월 12일 앤스로픽의 Frontier Red Team은 데이터센터 없이도 AI 모델이 자기복제할 수 있을지 다룬 글을 공개했다. 웜은 사람의 개입 없이 기기에서 기기로 자신을 복사하는 프로그램이다. 앞선 연구는 고성능 칩으로 이뤄진 클러스터에서 AI 에이전트가 비슷한 일을 하는 모습을 보였다. 앤스로픽은 훨씬 흔한 기기에서도 가능한지 살펴봤다. 앤스로픽의 연구

연구진은 두 가지 시험을 했다. 첫 번째에서는 대당 약 55달러인 일반 안드로이드 TV 박스 15대를 구입해 연결하고, 그 위에서 매개변수 260억 개 모델을 실행했다. 속도는 초당 0.39토큰으로 매우 느렸지만 작동했다. 두 번째 시험에서는 AI가 다른 기기를 찾아 침입하고, 그곳에 AI 모델을 설치한 뒤 계속 퍼져 나갈 수 있는지 살폈다. 이 시험은 실제 TV 박스가 아니라 에뮬레이트한 안드로이드 기기 8대로 구성한 별도의 격리 네트워크에서 진행했다.

연구진은 값싼 연결 기기가 많은 가정에서 소형 모델이 몇 달 안에 복제에 필요한 능력을 갖출 수도 있다고 결론 내렸다. 스마트 오븐, 냉장고, TV 박스 등이 잠재적 대상이다. 이런 복제 프로그램은 하나의 중앙 지점을 끄는 방식으로 차단하기 어려울 수 있다. 다만 두 배로 늘어나는 데 며칠이 걸릴 정도로 확산 속도는 느릴 것으로 봤다. 수천 대의 보안이 허술한 기기에 퍼지면 프로그램이 실행되는 단일 지점이 없어지기 때문이다.

연구진은 현실에서 작동하는 웜을 만든 것은 아니라고 명시했다. 두 번째 시험에서는 에뮬레이트한 기기의 디버그 포트가 열려 있어 침입을 쉽게 해뒀다. 실제 기기에 침입하려면 더 어려울 수 있지만, 과거 봇넷은 공장 초기 비밀번호를 추측하는 것만으로도 확산했다. Kimwolf 봇넷은 이와 같은 열려 있는 디버그 포트를 통해 퍼졌다. 감염된 TV 박스 중 상당수는 출고 당시 포트가 열려 있었고, 일부에는 의심스러운 소프트웨어가 이미 설치돼 있었다.

앤스로픽이 시험한 오픈 웨이트 모델 가운데 단순화된 시험에서 전체 과정을 해낸 것은 GLM-5.2 하나뿐이었다. 이 모델은 각 기기에 자신을 복사한 것이 아니라, 더 작고 다른 모델을 설치해야 했다. 연구진은 GLM-5.2와 같은 능력을 지닌 소형 모델이라면 원칙적으로 자기 자신을 복제할 수 있다고 추론했다. 소형 모델이 몇 달 안에 그 수준에 도달할 수 있다는 전망은 과거의 성능 향상 속도를 연장해 계산한 것이다. 앤스로픽은 필요한 능력에 올해 말까지 도달할 수 있고, 소형 모델 복제 프로그램은 그 뒤 곧 등장할 수 있다고 추정했다.[[1]](https://macanorak.com/everything-everywhere-all-at-once/#fn1)

연구진의 가정을 적용하면 200만 대 넘는 기기를 감염시킨 Kimwolf 규모의 무리는 이 특정 모델에서 최대 고성능 AI 칩 약 40개가 하는 일을 맡을 수 있다. 데이터센터와 비교하면 작은 규모다. 앤스로픽은 이런 복제 프로그램을 ‘디지털 점균’에 비유했다. 느리고 흩어져 있으며 없애기 어려울 수 있다는 뜻이다.

이 정보의 출처도 고려해야 한다. 앤스로픽의 안전팀이 낸 연구는 위험을 경고하는 동시에 회사가 안전 문제를 중요하게 다룬다는 점을 보여준다. 그렇다고 연구가 틀렸다는 뜻은 아니지만, ‘사기인가, 심리전인가, 제품 출시인가?’라는 질문을 다룰 때와 마찬가지로 회의적으로 볼 필요가 있다.

생물학적 위험과 남아 있는 장벽

영국 보안기관 MI5의 수장인 켄 매컬럼 경(Sir Ken McCallum)은 연례 국가 위협 연설에서 AI가 생물무기의 위험 수준을 “바꿀 수 있다”고 경고했다. 가디언이 인용한 전문가들은 당장의 우려가 이미 전문성을 갖춘 자원 풍부한 조직이나 국가에서 나온다고 말한다. AI가 기존 전문성을 증폭할 수 있다는 것이다. 반면 차고 연구실에서 활동하는 불량 집단의 위험도 있지만, 이 경우 장벽은 여전히 높다. 정보는 문제의 일부일 뿐이다. 암묵지, 재료, 장비, 시험, 전달 모두 상당한 장애물로 남아 있다. 한 연구자는 핵무기에 관해 계획은 쉬운 부분이라며 “우라늄은 어디서 구하겠는가?”라고 말했다. 가디언 보도

앤스로픽은 9월 자사 모델의 오용 사례를 담은 보고서를 공개했다. BBC 보도에 따르면 보고서에는 이름이 공개되지 않은 국가의 과학자들이 Claude를 잠재적으로 위험한 연구에 이용한 사례 5건과 러시아 연계 사이버 첩보 활동, 이란의 선전 활동이 담겼다. 앤스로픽은 한 사례에서 연구자들이 챗봇을 이용해 고병원성 조류인플루엔자 바이러스가 포유류에서 더 쉽게 적응하고 퍼지도록 하는 실험을 계획했다고 밝혔다. 이는 잠재적으로 위험한 활용 사례에 대한 보고이지, 누군가 생물무기를 만들었다는 증거는 아니다. BBC 보도

이 가운데 일부 연구에는 정당한 용도도 있다. 바이러스가 어떻게 진화할지 이해하고 미래의 팬데믹에 대비하기 위해 비슷한 실험을 하기도 한다. 따라서 연구 결과만으로 의도를 판단하기는 어렵다. 우려를 키운 정황 중 하나는 차단된 뒤에도 과학자들이 우회 방법을 찾았다는 점이다. 앤스로픽은 해당 계정을 차단했다.[[2]](https://macanorak.com/everything-everywhere-all-at-once/#fn2)

서비스 제공자가 사용 패턴을 파악해 계정을 차단한 것은 하나의 장벽이다. 그러나 그것이 얼마나 효과를 유지할지는 불확실하다. 존스홉킨스 보건안보센터의 톰 잉글스비(Tom Inglesby) 소장은 대부분의 AI 기업이 무엇을 하는지 공개하지 않고 있으며, 어떤 국가도 이런 종류의 오용을 구체적으로 다루는 공식 정부 정책을 마련하지 않았다고 말했다. DNA 합성 업체의 주문 심사도 대체로 자발적이며, AI가 설계한 염기서열은 이를 찾도록 설계되지 않은 검사망을 빠져나갈 수 있다. 가디언 보도

이런 대응은 누군가 감시할 때만 작동한다. 따라서 제공자 측 감시는 업체가 볼 수 있는 범위에서 실행되는 호스팅 모델에만 적용될 수 있다. 로컬 모델처럼 제공자의 시야 밖에서 실행되는 것은 보호하지 못한다. 앤스로픽의 자기복제 연구가 다루는 상황도 여기에 해당한다. 가정의 값싼 TV 박스에서 실행되는 모델은 활동 기록을 만든 회사에 보내지 않을 수 있다. 안전장치를 설명하는 회사가 그 제품을 판매하는 회사이기도 하다.

완전히 믿을 만한 주체가 없다면 남는 대책은 대체로 평범하다. 앤스로픽이 제시한 방어책은 가정에서 점검할 항목과 비슷하다.

  • 인터넷 서비스 제공업체는 비정상적인 트래픽을 감시할 수 있다. AI 웜이 퍼지려면 여러 기기 사이에 수 기가바이트에 달할 수 있는 큰 파일을 옮겨야 한다. 보통 그 정도로 많은 데이터를 주고받지 않는 기기에서 확산이 대규모로 일어나면 흔적이 남는다. 더 빨리 퍼질수록 트래픽 잡음도 커진다.
  • 감염된 기기를 찾아내면 제공업체가 해당 고객의 연결을 격리할 수 있다. 접근 가능한 대상을 제한하고, 사용자가 문제를 해결할 안내를 받도록 할 수 있다.
  • 방어자는 ‘허니팟’이라 부르는 미끼 기기를 온라인에 두고 일부러 감염시킬 수 있다. 복제 프로그램이 미끼를 물면 사본을 확보해 작동 방식을 살펴볼 수 있다.
  • Mirai를 비롯한 과거 봇넷은 연결 기기의 취약한 보안을 악용해 퍼졌다. 영국에서는 2024년 4월부터 제조업체가 쉽게 추측할 수 있는 공통 기본 비밀번호를 사용한 소비자용 스마트 기기를 공급하는 것이 금지됐다. 오래된 기기는 따로 관리해야 할 수 있으므로 소프트웨어를 최신 상태로 유지하는 것도 중요하다. 영국 규정 안내

전염병에 빗대면 목표는 감염된 기기 하나가 새로 감염시키는 기기 수를 1 미만으로 낮춰 확산이 잦아들게 하는 것이다.

게임 보존과 안전장치의 경계

게임으로 돌아가면 변호사도 또 다른 장벽이다. 코타쿠의 별도 보도에 따르면 액티비전과 베데스다는 AI로 만든 일부 프로젝트에 조치를 취했다. 하지만 삭제 통지는 기술 자체가 아니라 개별 프로젝트를 겨냥한다. 코타쿠는 게임 퍼블리셔들이 AI 기업 자체를 상대로 조치를 취하지는 않았다고 전했다. 파커는 앞으로 벌어질 ‘두더지 잡기’가 불법 복제 DVD 시절과 비슷할 것이라고 봤다. 느리고 완전히 끝나지 않는다는 점에서 디지털 점균과 닮았다. [코타쿠 보도][[3]](https://macanorak.com/everything-everywhere-all-at-once/#fn3)

그렇다고 과거의 모든 장벽이 유지할 가치가 있었던 것은 아니다. 비디오 게임 역사 재단(Video Game History Foundation)이 2023년 미국의 고전 게임 1,500개를 표본 조사한 결과, 상업적으로 계속 판매되는 게임은 13%에 불과했다. 보존 활동가들은 퍼블리셔가 관심을 잃은 뒤에도 오래된 게임을 플레이할 수 있도록 디컴파일이 보존 수단이 될 수 있다고 말한다. 팬들이 Duke Nukem: Zero Hour를 디컴파일해 되살린 사례가 있다. 조사 자료[[3]](https://macanorak.com/everything-everywhere-all-at-once/#fnref3)

장벽을 모두 되돌리자는 뜻도 아니다. 어떤 장벽은 위험한 일을 막았고, 다른 장벽은 그저 사람들의 접근을 막았다. 둘을 구분하는 일이 중요하다.[[4]](https://macanorak.com/everything-everywhere-all-at-once/#fn4)

앤스로픽은 자기복제 연구를 다음과 같은 말로 맺었다. 이 글에서 다룬 여러 상황에도 적용할 수 있는 문장이다. 시스템을 강화해야 하지만, “그런 시스템이 계속 존재하는 세상에 대응할 준비도 해야 한다.” 이는 전원을 끄면 끝난다는 말이 아니다.

《에브리씽 에브리웨어 올 앳 원스》에서 다중우주를 끝낼 수 있는 가장 가까운 수단은 베이글 모양의 블랙홀이다. 주인공 에블린은 거의 그 안으로 들어갈 뻔하지만, 대신 친절을 선택한다. 다중우주 자체는 바뀌지 않는다. 그 안에서 어떻게 살아갈지가 달라진다.

우리에게는 라우터를 업데이트하고 기본 비밀번호를 바꾸며, 인터넷 제공업체가 이상 징후를 알아차리도록 하는 일이 필요하다. 위험을 알리는 이들이 사기꾼이나 예언자 중 하나일 거라고 단정하지 말고, 감시자를 누가 감시하는지도 물어야 한다. 앞으로 무엇이 올지 정확히 알 수 없다고 해서 공황에 빠지거나 외면할 이유는 없다. 눈앞의 상황에 주의를 기울여야 한다.[[4]](https://macanorak.com/everything-everywhere-all-at-once/#fnref4)

이 글의 화자는 라우터가 아직 기본 관리자 비밀번호를 쓰는지 확인한 뒤, 오래된 The Simpsons: Hit & Run을 찾아보겠다고 덧붙인다.[[5]](https://macanorak.com/everything-everywhere-all-at-once/#fn5)

[[1]](https://macanorak.com/everything-everywhere-all-at-once/#fnref1) 이는 능력 벤치마크를 바탕으로 한 외삽이지, 실제 세계에서 웜이 성공적으로 퍼진 사례를 토대로 정한 일정은 아니다.

[[2]](https://macanorak.com/everything-everywhere-all-at-once/#fnref2) 이 사례들은 이전 모델과 관련됐다. 앤스로픽은 Claude Fable 5를 포함한 최신 모델이 이런 질문에 더 강한 안전장치를 갖췄다고 밝혔다. 앤스로픽 보고서

[[3]](https://macanorak.com/everything-everywhere-all-at-once/#fnref3) 이런 장벽이 모두 유지할 가치가 있었던 것은 아니다. 비디오 게임 역사 재단의 2023년 조사는 미국 고전 게임 1,500개 표본 중 상업적으로 계속 판매되는 게임이 13%뿐이라고 밝혔다. 보존 활동가들은 퍼블리셔가 관심을 잃은 뒤에도 오래된 게임을 플레이할 수 있도록 디컴파일이 도움이 될 수 있다고 말한다. 팬들이 Duke Nukem: Zero Hour를 디컴파일한 사례가 있다.

[[4]](https://macanorak.com/everything-everywhere-all-at-once/#fnref4) 모든 곳에 다시 장벽을 세우자는 뜻은 아니다. 어떤 장벽은 위험한 것을 막았고, 어떤 장벽은 사람들의 접근만 막았다. 둘을 가려내는 일이 중요하다.

[[5]](https://macanorak.com/everything-everywhere-all-at-once/#fnref5) 《Hit & Run》에서 호머는 검은 밴을 따라 번즈 씨의 저택에 가서 스프링필드를 감시한다고 따진다. 번즈는 밴이 피자를 배달할 뿐이라고 말한다. 실제로는 외계인 강과 코도스가 은하계 리얼리티 쇼 《Foolish Earthlings》 촬영을 위해 기계 말벌 카메라 무리를 스프링필드에 풀어 감시하고 있다. 게임은 말벌 카메라 수백 대가 스프링필드에 내려오고 호머가 집 안에서 그중 하나를 부수는 장면으로 시작한다. 호머는 누군가 스프링필드를 지켜보고 있다는 점에서는 맞지만, 감시자의 정체와 목적은 틀렸다. 그는 사기꾼도 예언자도 아니다.