레오 가오(Leo Gao)는 2020년 글에서 GPT-3가 범용 인공지능(AGI)은 아니지만, 언어 모델에 담긴 세계 정보를 활용하면 원시적 형태의 범용 AI를 만들 수 있다고 제안했다. 이는 실제로 구현된 시스템이 아니라, 미래 모델이 더 나은 세계 모델을 학습한다는 가정에 기댄 사고실험이다.
그의 구상에서 언어 모델은 다음에 일어날 일을 예측하는 세계 모델로 쓰인다. 에이전트는 목표를 정한 뒤 가능한 행동과 그 결과를 모델에 묻고, 몬테카를로 트리 탐색으로 여러 행동 경로의 보상을 추정해 다음 행동을 고른다. 복잡한 행동은 작은 하위 목표로 나누며, 관찰 내용을 요약해 내부 상태에 저장한다. 외부 입력을 텍스트로 바꾸고, 선택한 행동은 코드나 명령어 등으로 변환해 실행하는 방식도 제안한다.
가오는 이 접근이 성립하려면 모델 규모를 키울수록 언어 예측 손실이 낮아지고 세계 모델링 능력도 향상된다는 가정이 필요하다고 밝혔다. GPT-3는 당시 세계 모델링에 충분히 뛰어나지 않았고, 얼마나 낮은 손실에 도달해야 실용적인 능력이 생기는지도 알 수 없다고 덧붙였다. 따라서 글은 구현이나 검증된 성과를 보고하는 것이 아니라, 가능한 경로와 그 불확실성을 논의한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요