리치 서튼은 AI가 계산을 확장해야 한다고 말한다

쓰라린 교훈

리치 서튼(Rich Sutton)

2019년 3월 13일

70년간의 AI 연구에서 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 일반적인 방법이 결국 훨씬 더 효과적이라는 것이다. 근본적인 이유는 무어의 법칙, 더 정확히는 계산 단위당 비용이 지속해서 기하급수적으로 낮아지는 현상에 있다. 대부분의 AI 연구는 에이전트가 사용할 수 있는 계산량이 일정하다고 가정한 채 진행됐다. 그런 조건에서는 성능을 높일 유일한 방법 가운데 하나가 인간의 지식을 활용하는 것이기 때문이다. 그러나 일반적인 연구 과제의 기간보다 조금만 길게 보면 훨씬 더 많은 계산량을 이용할 수 있게 되는 것은 피할 수 없다.

단기간에 성과를 내기 위해 연구자들은 해당 분야에 관한 인간의 지식을 활용하려 한다. 하지만 장기적으로 중요한 것은 계산을 활용하는 일뿐이다. 두 접근법이 반드시 충돌하는 것은 아니지만, 실제로는 그런 경우가 많다. 한쪽에 들이는 시간은 다른 쪽에 쓸 수 없는 시간이고, 어느 한쪽에 투자하면 심리적으로 그 접근법에 매이기도 한다. 인간의 지식에 기대는 방식은 방법을 복잡하게 만들어 계산을 활용하는 일반적인 방법에 잘 맞지 않게 하는 경향도 있다. AI 연구자들이 이 쓰라린 교훈을 뒤늦게 깨달은 사례는 많으며, 그중 두드러진 사례를 살펴보면 교훈을 이해하는 데 도움이 된다.

컴퓨터 체스에서는 대규모의 깊은 탐색에 기반한 방법이 1997년 세계 챔피언 카스파로프를 꺾었다. 당시 대다수 컴퓨터 체스 연구자는 체스의 특수한 구조에 관한 인간의 이해를 활용하는 방법을 연구해 왔기 때문에 이 결과를 못마땅하게 여겼다. 특수한 하드웨어와 소프트웨어를 사용한 더 단순한 탐색 기반 접근법이 압도적으로 더 효과적이자, 인간 지식에 기반한 체스 연구자들은 패배를 받아들이지 못했다. 그들은 ‘무차별 대입’ 탐색이 이번에는 이겼을지 몰라도 일반적인 전략은 아니며, 어차피 사람이 체스를 두는 방식도 아니라고 말했다. 이들은 인간의 지식을 투입한 방법이 이기기를 바랐고, 그렇지 못하자 실망했다.

컴퓨터 바둑에서도 비슷한 연구 발전 양상이 나타났지만, 20년이 더 걸렸다. 인간의 지식이나 게임의 특성을 이용해 탐색을 피하려는 대규모 초기 노력이 있었지만, 탐색을 효과적으로 대규모로 적용하자 그 노력은 모두 쓸모없어졌거나 오히려 방해가 됐다. 자기 대국을 통한 학습으로 가치 함수를 학습하는 방법도 중요했다. 이 방식은 다른 많은 게임과 체스에서도 쓰였지만, 1997년 처음으로 세계 챔피언을 이긴 프로그램에서 학습은 큰 역할을 하지 않았다.

자기 대국을 통한 학습과 일반적인 학습은 대규모 계산을 활용하게 해 준다는 점에서 탐색과 비슷하다. 탐색과 학습은 AI 연구에서 막대한 계산량을 활용하는 가장 중요한 두 가지 기법이다. 컴퓨터 체스와 마찬가지로 컴퓨터 바둑에서도 연구자들은 처음에는 인간의 이해를 활용해 필요한 탐색량을 줄이는 데 힘을 쏟았다. 탐색과 학습을 받아들이고 나서야 훨씬 더 큰 성공을 거뒀다.

음성 인식에서는 1970년대에 미국 국방고등연구계획국(DARPA)이 후원한 초기 경진대회가 열렸다. 참가자들은 단어, 음소, 인간의 성도에 관한 지식 등 인간의 지식을 활용하는 여러 특수한 방법을 선보였다. 다른 한편에는 은닉 마르코프 모델(HMM)에 기반해 통계적 성격이 강하고 훨씬 많은 계산을 하는 새로운 방법들이 있었다. 이번에도 통계적 방법이 인간의 지식에 기반한 방법을 앞섰다. 그 결과 자연어 처리 전반에 큰 변화가 일어났고, 수십 년에 걸쳐 통계와 계산이 이 분야를 주도하게 됐다. 최근 음성 인식에서 딥러닝이 부상한 것도 같은 흐름의 최신 단계다. 딥러닝 방법은 인간의 지식에 덜 의존하고, 대규모 학습 데이터와 더 많은 계산을 활용해 음성 인식 시스템의 성능을 크게 높인다.

게임 분야와 마찬가지로 연구자들은 자신이 생각하기에 자신의 마음이 작동하는 방식을 본뜬 시스템을 만들려 했다. 자신이 가진 지식을 시스템에 넣으려 했지만, 결국 역효과를 냈고 연구자의 시간을 엄청나게 낭비했다. 무어의 법칙에 따라 막대한 계산량을 사용할 수 있게 되고, 이를 잘 활용하는 방법이 발견됐기 때문이다.

컴퓨터 비전에서도 비슷한 양상이 나타났다. 초기 방법은 시각을 모서리나 일반화된 원기둥, 또는 SIFT 특징을 찾는 문제로 봤다. 하지만 오늘날 이런 접근법은 모두 폐기됐다. 현대의 딥러닝 신경망은 합성곱과 특정 종류의 불변성만 활용하면서 훨씬 더 나은 성능을 낸다.

이것은 중요한 교훈이다. AI 분야는 아직 이 교훈을 충분히 배우지 못했고, 같은 실수를 계속하고 있다. 이를 알아차리고 효과적으로 피하려면 왜 이런 실수가 매력적으로 보이는지 이해해야 한다. 우리가 생각하는 방식대로 사고하는 법을 시스템에 넣는 것은 장기적으로 효과가 없다는 쓰라린 교훈을 배워야 한다.

이 교훈은 역사적 관찰에 기반한다. AI 연구자들은 에이전트에 지식을 넣으려는 경우가 많았고, 이는 단기적으로는 늘 도움이 되며 연구자에게도 만족감을 줬다. 하지만 장기적으로는 성장이 정체되고 더 나아가 발전을 막기도 했다. 결국 획기적인 발전은 탐색과 학습으로 계산량을 확장하는, 반대되는 접근법에서 나왔다. 그 성공에는 쓰라림이 남고 교훈도 충분히 소화되지 않는 경우가 많다. 사람들이 선호했던 인간 중심 접근법을 넘어선 성공이기 때문이다.

이 교훈에서 배워야 할 한 가지는 범용 방법의 강력함이다. 계산량이 크게 늘어나도 계속 확장되는 방법을 말한다. 이런 방식으로 임의의 규모까지 확장될 수 있어 보이는 방법은 탐색과 학습 두 가지다.

두 번째로 배워야 할 점은 마음의 실제 내용이 엄청나게 복잡하고, 그 복잡성을 없앨 수 없다는 사실이다. 공간, 사물, 여러 에이전트, 대칭성 같은 마음의 내용을 단순하게 설명하려는 시도를 멈춰야 한다. 이런 요소는 모두 임의적이고 본질적으로 복잡한 외부 세계의 일부다. 그 복잡성은 끝이 없으므로 시스템에 미리 넣어서는 안 된다. 대신 이런 복잡성을 찾아내고 포착할 수 있는 메타 방법만 넣어야 한다.

이 방법들은 좋은 근사치를 찾아낼 수 있어야 한다. 다만 근사치를 찾는 일은 사람이 직접 하는 것이 아니라 우리가 만든 방법이 해야 한다. 우리가 발견한 것을 시스템에 담는 대신, 우리처럼 스스로 발견할 수 있는 AI 에이전트를 원한다. 우리가 발견한 결과를 미리 넣으면 발견 과정 자체를 어떻게 구현할 수 있는지 보기만 더 어려워진다.