TL;DR

  • Dario Amodei가 2017년 작성한 내부 메모 ‘The Big Blob of Compute Hypothesis’가 OpenAI의 대규모 언어 모델 확장을 이끌었으며, AI 발전의 핵심은 범용 모델의 규모 확대라는 주장을 담음.
  • 당시 연구자 다수는 번역·음성 인식·로보틱스·게임 등 특정 문제에 맞춘 모델을 개발했지만, Amodei는 데이터와 연산량을 늘리고 학습을 오래 하면 성능이 향상된다고 봄.
  • 눈송이 비유를 통해 지능형 행동은 복잡한 세부 설계보다 충분한 연산 능력, 매개변수, 학습 경험과 적절한 조건에서 형성된다는 관점을 제시함.
  • AI 안전도 세부 안전장치를 복잡하게 구축하기보다 상위 수준의 조건을 올바르게 설정해 모델이 안전한 행동을 학습하도록 해야 한다고 주장함.
  • 메모는 OpenAI의 언어 모델 확장과 GPT-2·GPT-3 개발로 이어지는 사고의 토대가 됐으며, 전체 25쪽 이상 중 첫 10쪽이 공개됨.

스케일링에 대한 Amodei의 가설

  • 2017년 당시에는 AlphaGo 이후, GPT-1과 대형 언어 모델(LLM) 혁명 이전으로, AI 연구자 다수가 번역·음성 인식·로보틱스·게임 같은 좁은 문제마다 서로 다른 알고리즘과 데이터 세트, 접근법을 적용하는 도구 제작자로 자신을 여김.
  • Dario Amodei는 AI를 더 지능적으로 만드는 더 나은 방법이 단순히 모델을 더 크게 만드는 것이라고 생각함. Baidu에서 작업한 음성 인식 시스템을 포함한 실험에서 데이터와 연산량을 늘리고 학습을 오래 지속하는 스케일링이 성능 향상으로 이어지는 사례를 관찰함.
  • 자연계에서도 다른 조건이 같다면 뇌가 큰 동물이 대체로 더 영리하다는 점을 근거로 삼음. AI에도 비슷한 원리가 적용된다면 좁고 작은 모델 제작을 멈추고 범용 모델을 확장하는 것이 실질적인 진전을 이루는 최선의, 어쩌면 유일한 방법이라고 봄.
  • Richard Sutton의 유명한 에세이 ‘The Bitter Lesson’은 비슷한 생각을 나중에 널리 알렸지만, Amodei의 주장은 그보다 몇 년 앞섬.

‘The Big Blob of Compute Hypothesis’의 비유

  • Amodei가 동료들에게 스케일링 관점을 설명하기 위해 쓴 문서 ‘The Big Blob of Compute Hypothesis’는 초기 OpenAI 연구자들 사이에서 고전으로 자리 잡음. 복잡한 문제 해결책을 정교하게 설계하기보다 모델을 더 크게 만드는 편이 효과적이라는 주장을 구체적으로 전개함.

“특정한 지능적 행동을 만들어내는 일은 대체로 크고 구조화가 최소화된 연산 능력 덩어리를 제공한 다음, 풍부한 환경과 해당 과제에 적합한 행동으로 이끄는 학습 과정을 통해 모양과 형태를 부여하는 일임.”

  • 눈송이를 만들 때 얼음 조각을 핀셋으로 하나씩 조립하는 대신 알맞은 조건의 용기를 마련하고 눈송이가 저절로 형성되도록 하는 비유를 제시함.
  • 이 비유에서 학습 목표는 물리 법칙, 연산 능력은 원재료, 매개변수는 충분히 큰 공간에 해당함. 정규화와 형태에 해당하는 온도·압력·습도를 맞추고 충분한 경험에 해당하는 시간을 주는 것이 눈송이를 만드는 방법이라고 설명함.
  • 눈송이를 만드는 방법이자 형태에 영향을 줄 수 있는 유일한 수단은 조건을 설정하는 것이라고 주장함. 작은 얼음 조각을 이어 눈송이 하나를 직접 조립하려는 시도는 사실상 가망이 없다고 봄.

AI 안전에 대한 관점

  • Amodei는 AI 안전 연구자들의 접근에도 지나친 세부 관리가 있다고 봄. Eliezer Yudkowsky의 MIRI 연구자 등 일부는 모델이 통제에서 벗어나지 않도록 복잡한 안전 프로토콜을 설계하는 사이버 보안식 접근을 주장함.
  • Amodei는 안전한 AI를 만드는 더 나은 방법은 상위 수준의 조건을 제대로 설정하고 모델이 스스로 안전하거나 안전하지 않은 행동을 파악하도록 하는 것이라고 주장함.

OpenAI 내부에서의 영향과 문서 공개

  • ‘Big Blob of Compute’는 OpenAI 바깥에 공개된 적이 없으며, Amodei는 문서에 대한 논평을 원하지 않음. 그러나 업계에서는 신화적인 지위를 얻었고, 초기 OpenAI 직원 여러 명은 이 문서가 AI에 대한 생각을 바꾸고 스케일링의 중요성을 이전보다 크게 인식하게 했다고 전함.
  • 이 문서는 OpenAI가 Amodei의 가설을 시험하기 위해 언어 모델을 확장하도록 이끌었으며, 그 노력은 GPT-2와 GPT-3, 그리고 현재의 AI로 이어짐. 그런 의미에서 ‘Big Blob of Compute’가 AI 경쟁을 시작하게 했을 수 있음.
  • 문서는 중요한 역사 자료이자 Amodei가 스케일링에 대한 확신을 형성한 과정을 보여주는 기록으로 공개됨. AI가 Amodei의 예상처럼 사회를 바꾼다면 이 문서는 다윈의 노트에 견줄 만한 자료가 될 수 있으며, 대중이 읽을 수 있도록 하는 데 공익적 가치가 있다는 설명임.
  • 전체 문서는 25쪽이 넘지만, 나머지 부분은 기술적으로 매우 조밀하고 다른 AI 안전 연구자들의 제안이 틀렸다는 주장을 주로 담고 있어 첫 10쪽만 공개됨.
  • 문서는 Amodei의 성격과 동료 연구자들과의 소통 방식, 사고에 영향을 준 지적 배경을 보여줌. 또한 Amodei와 다른 AI 지도자들이 규제 포획을 위한 전술적 위장막으로 과장된 종말론적 시나리오를 최근에야 이야기하기 시작했다는 음모론에 반박하는 자료로 제시됨. 이들은 규제 포획이라는 논의가 있기 전부터 AI 종말론을 생각하고 글을 써왔다는 설명임.