TL;DR

  • Nathan Lambert와 Tom Zick이 프런티어 AI의 과학적 기반을 넓히기 위해 Trillium Labs를 설립하고, 데이터·코드·평가·중간 체크포인트를 포함한 완전 개방형 사후 학습(post-training) 레시피를 구축함.
  • 프런티어 연구소의 연구 공개가 줄어드는 가운데, 상업적 이해관계와 연구 재현에 필요한 막대한 컴퓨팅·엔지니어링 비용이 독립 연구를 제약함.
  • Trillium Labs는 비영리 구조를 토대로 통제된 실험과 실패한 실행 기록까지 공개하고, 지식재산권 보호에 얽매이지 않는 연구 인프라를 마련함.
  • Halcyon Futures와 Schmidt Sciences의 지원으로 활동을 시작했으며, 다양한 관점을 지닌 후원자와 컴퓨팅 자원을 찾고 있음.
  • 연구소의 성공 기준은 공개 자료가 가능하게 하는 독립 연구의 규모이며, 사후 학습을 둘러싼 과학적 공공재를 조성하는 데 초점을 둠.

Trillium Labs를 설립하는 이유

  • 현대 AI는 대학과 산업 연구소에서 수십 년간 축적된 연구, 논문, 코드, 공개 벤치마크를 토대로 성장함. 동료 심사와 공개된 방법론은 다양한 연구자가 가정을 검토하고 결과를 재현하며, 최초 연구자가 예상하지 못한 방향으로 연구를 확장하도록 함.
  • 초기 생성형 AI 확산기에도 이런 흐름이 이어짐. 트랜스포머 구조를 소개한 Google의 논문 「Attention Is All You Need」와 OpenAI의 InstructGPT 논문은 인간 피드백 기반 강화학습(RLHF)의 방법론을 공개해, 기업 밖 연구자들이 기법을 조사하고 적용하며 분야 발전에 기여할 수 있게 함.
  • 사후 학습이 추론 및 에이전트 역량에 더 중요해졌지만, 완전한 학습 절차를 공개하는 사례는 드물어짐. 연구자는 영향력이 커지는 학습 결정의 결과를 관찰하면서도 그 결정 자체를 조사할 수 있는 범위가 제한됨.
  • 프런티어 연구소가 연구 공개를 크게 줄이는 배경에는 투명성의 비용 상승과 지식의 상업적 가치가 있음. * The Wall Street Journal은 Anthropic의 기업공개(IPO) 추진이 최대 1,000억 달러를 조달할 수 있다고 보도함. 이는 Saudi Aramco, Alibaba, SoftBank Corp의 기업공개 조달액을 합친 약 780억 달러보다 큰 규모임.
  • 에이전트의 신뢰도를 높이는 방법은 제품의 경쟁력도 높일 수 있어, 이를 공개하면 기업 가치의 기반이 되는 지식 일부가 경쟁자에게 제공됨.
  • 충분한 규모의 학습 프로그램을 재현하려면 막대한 컴퓨팅 자원과 엔지니어링 역량이 필요하므로, 학계 연구자가 공개되지 않은 세부 사항을 독자적으로 보완하기 어려움. 상업적 이해관계는 비공개 유인을 높이고, 독립 연구 비용은 과학계 다수의 접근을 가로막음.

독립적인 과학 공동체의 필요성

  • 프런티어 AI 기업은 역사상 가장 큰 기업 성장기 중 하나에 들어설 수 있으며, 동시에 고객과 주주를 넘어 사회 전반에 영향을 미칠 기반 기술을 개발하고 있음.
  • 시스템 정렬, 보안 확보, 사회 전반에 혜택을 제공하는 일은 어려운 과제임. 과학은 방법을 명시하고 주장을 독립적으로 검증하며 여러 기관의 증거를 축적함으로써, 수 세기 동안 이처럼 큰 규모의 문제에 대응하는 데 기여함.
  • 프런티어 AI를 가능하게 한 과정은 그 기술을 이해하는 데도 필수적임. 영향력이 큰 기술에는 소수의 폐쇄형 연구 프로그램만으로는 충족할 수 없는 다양한 질문과 방법, 관점이 필요함.
  • 이러한 문제를 독립적으로 연구할 자원을 갖춘 과학 공동체가 필요하다는 판단에 따라 Trillium Labs를 설립함.

완전 개방형 사후 학습 연구

  • Trillium Labs는 프런티어 AI를 가능하게 한 과학적 과정을 지속하는 것을 목표로 하며, 사후 학습부터 시작함.
  • 데이터, 코드, 평가, 중간 체크포인트를 포함한 완전 개방형 사후 학습 레시피를 구축해 다른 연구자가 모델 행동의 발달 과정을 조사할 수 있도록 함.
  • 이 자료를 만드는 일에는 큰 비용이 들지만, 자료가 공개되면 더 넓은 연구 공동체가 개입 방법을 시험하고 실패 사례를 조사하며 최초 연구팀이 예상하지 못한 문제에 맞춰 모델을 조정할 수 있음.
  • Allen Institute for AI, EleutherAI, OpenAthena, Nvidia, Hugging Face가 공동체에서 수행한 완전 개방형 연구의 기반을 이어가려 하지만, 이들만으로는 충분하지 않다고 밝힘.
  • 비영리 구조를 통해 연구 인프라 구축을 핵심 책무로 삼음. 지식재산권 보호를 걱정하지 않고 통제된 실험에 투자하고, 실패한 실행을 기록하며, 학습 개입이 이후 단계 전반의 행동에 미치는 영향을 조사하고, 그 결과 전체를 공개할 수 있음.
  • 자체 가정을 복잡하게 만드는 연구 결과도 발표하며, 성공 여부는 해당 자료가 가능하게 하는 독립 연구의 규모로 평가함.

지원과 다음 단계

  • Halcyon Futures와 Schmidt Sciences의 지원으로 활동을 시작했으며, 연구를 지속하기 위해 다양한 연합의 후원자를 모집 중임.
  • AI의 진로에 서로 다른 관점을 지닌 후원자들이 공동의 과학적 기반을 지원하기를 바람. 이들은 예상되는 결과나 중요한 위험에 관해 의견이 달라도, 더 많은 연구자가 주장을 검증할 자원을 가져야 한다는 데 동의할 수 있음.
  • 연구소 이름은 숲의 수관이 무성해지기 전에 꽃을 피우는 봄철 단명 식물인 트릴리움에서 유래함. 꽃은 짧은 기간만 보이지만 초기 수분 매개자에게 자원을 제공하고, 미래의 성장을 뒷받침하는 씨앗을 만듦.
  • 이 비유를 바탕으로 분야의 발전 방향을 바꿀 여지가 남아 있는 동안 사후 학습을 둘러싼 과학적 공공재의 씨앗을 뿌리고자 함. 모델 공개는 눈에 보이는 꽃에 해당하며, 학습 레시피와 이를 통해 가능해지는 연구가 생태계를 오랫동안 뒷받침하는 요소임.
  • 프런티어 AI의 주요 미해결 문제를 개방형 과학으로 다루는 여러 연구 주기로 확장할 계획임. 채용과 모금, 컴퓨팅 자원 확보를 진행 중임.
  • 공동 설립자: Nathan Lambert, Tom Zick.