TL;DR

  • Anthropic와 OpenAI를 비롯한 주요 AI 연구소가 최첨단 AI 연구의 공동 감속을 촉구하지만, 게임 이론상 경쟁사가 속도를 유지하면 개별 기업의 자발적 감속은 손실로 이어질 수 있음.
  • Drew Fudenberg와 Andrew Koh의 논문을 바탕으로 한 멀티플레이어 웹 게임은 AI 연구소가 개발을 가속하거나 감속하는 두 플레이어 게임을 구현함.
  • 기업은 경쟁사와 비슷한 수준이거나 앞설 때 수익을 얻고, 크게 뒤처지면 손실을 입으며, 안전 프런티어를 넘어선 선도 모델의 역량이 높을수록 재앙 위험도 커짐.
  • 재앙 위험 확률, 할인율, 경쟁사 진척도에 대한 투명성에 따라 연구소가 최고 속도로 개발하는 경쟁과 안전 프런티어에 맞춰 개발하는 속도 조절 중 하나를 택하게 됨.
  • 국가 간 경쟁에서도 검증·투명성 조치나 공통 안전 기준 합의가 없다면 국제적 감속보다 경쟁이 자연스럽게 나타날 수 있음.

AI 개발 경쟁의 게임 이론

  • Anthropic와 OpenAI를 포함한 주요 AI 연구소가 최첨단 AI 연구의 공동 감속을 촉구하고 있으며, 이에 따라 위험을 우려하는 기업이 자발적으로 개발 속도를 늦추지 못하는 이유에 대한 질문이 제기됨.
  • 게임 이론은 기업의 자발적 감속이 어려운 이유를 설명하며, 미국이 국제 공조 없이 AI 진전을 늦추는 데 주저하는 이유도 설명함.
  • Drew Fudenberg와 Andrew Koh의 최근 논문을 바탕으로 AI 개발 경쟁의 게임 이론을 보여주는 멀티플레이어 웹 게임을 제작함.
  • 논문은 AI 연구소를 개발을 가속하거나 감속할 수 있는 두 플레이어 게임의 참가자로 모델링함.
  • 기업은 경쟁사와 비슷한 수준이거나 앞설 때 수익을 얻고, 크게 뒤처질 때 손실을 입음.
  • 시간에 따라 진전하는 공통 안전 프런티어가 존재하며, 선도 모델이 안전 프런티어를 넘어서는 정도가 클수록 재앙 위험이 높아짐.

경쟁과 속도 조절을 좌우하는 조건

  • 기업이 최대 속도로 개발하는 경쟁을 벌일지, 안전 프런티어에 맞춰 개발 속도를 조절할지는 재앙 위험 확률, 할인율, 서로의 진척 상황에 대한 투명성 등을 포함한 매개변수에 달려 있음.
  • 이 전략적 상황에는 경쟁과 협력이 함께 존재함. 연구소는 앞서 나가 수익을 얻으려 하지만, 지나치게 무리해 의도하지 않은 피해를 일으키는 것도 원하지 않음.

게임에 반영된 위험 요인

  • 게임에는 위험을 키우는 몇 가지 구조가 포함됨.
  • 연구소는 경쟁사의 연구 진척 상황을 즉시 파악하지 못하며, 몇 주 전에 경쟁사가 내린 결정에만 대응할 수 있음. 게임에서는 가속이 한동안 비공개이므로 상대의 대응도 지연됨.
  • 가속과 감속은 점진적으로 이뤄지고, 개발은 되돌릴 수 없음.
  • 안전 프런티어의 경로는 예측하기 어려워 때로는 완만해지고 때로는 가파르게 상승함.
  • 게임이 진행될수록 가속도와 최대 속도가 높아지며, 이는 재귀적 자기 개선의 가능성을 반영함.

현실에서 속도 조절이 더 어려운 이유

  • 게임에 반영되지 않은 요인까지 고려하면 현실 세계에서 진전 속도를 통제하기는 더 어려움.
  • 게임은 가속과 감속을 하나의 조작으로 나타내지만, 실제 AI 개발 과정에는 컴퓨팅 자원, 데이터, 노동력 등 여러 투입 요소가 포함되며 이들에는 장기 투자와 약속이 필요한 경우가 많음.
  • 현실의 연구소는 내부 진척 상황을 더 오랫동안 비밀로 유지할 수 있음.
  • 현실의 안전 프런티어는 알려져 있지 않으며, 어쩌면 알 수 없을 수도 있음. 연구소마다 특정 역량 수준에서 발생하는 위험의 정도에 동의하지 않을 수 있으며, 이런 견해 차이로 인해 실질적인 안전 프런티어가 AI 위험에 가장 덜 우려하거나 가장 회의적인 플레이어에 의해 좌우될 수 있음.
  • 현실 세계의 경쟁자는 두 곳을 넘음.

국가 간 경쟁과 국제 공조

  • 이 모델은 연구소 간 경쟁을 넘어 적용될 수 있음. 미국과 중국 같은 국가 간 경쟁에서도 유사한 역학이 작동함.
  • 여러 국가가 경쟁하는 상황에서는 국제적 감속이 어려움. 검증·투명성 조치나 공통 안전 기준에 대한 간단한 합의조차 없다면 자연스럽게 나타나는 행동도 경쟁과 비슷한 양상일 가능성이 높음.
  • 이 게임은 협력이 없는 상황에서 경쟁 역학이 위험에 기여할 수 있음을 보여주고, 관련 직관을 제공함.