Nathan Lambert는 AI가 몇 년 안에 연구자의 일을 더 잘하게 될 것이라는 전망에 회의적이다. 다만 모델의 인프라·공학 역량은 빠르게 발전해 실험과 모델 조정을 쉽게 만들고, 그 결과 AI 연구의 병목이 공학에서 좋은 아이디어를 찾는 일로 옮겨갈 수 있다고 본다.
Lambert는 이를 급격한 자기개선(RSI) 시나리오보다 ‘병렬화된 AI 보조 언어 모델링’으로 설명하는 편이 현실적이라고 주장한다. 그는 AI가 가속기에서 가능한 연산을 더 효율적으로 활용하도록 학습·추론 과정을 최적화할 수 있다고 본다. 이미 기업들은 모델 출시 후 서비스 비용을 10~30% 낮추는 등 추론 효율을 개선해 왔으며, 이런 절감이 누적되면 모델 지능을 얻는 실질 비용이 앞으로 수년간 거의 기하급수적으로 낮아질 수 있다는 전망이다.
초기 효율 개선은 몇 년 안에 이뤄질 수 있지만, 장기적으로는 가속기와 모델을 함께 설계해 GPU 기반 플랫폼보다 훨씬 높은 효율을 얻을 수 있다고 Lambert는 내다본다. 현재 모델 계열의 구조와 데이터 선택을 다루는 사전학습 연구가 2~3년 안에 자동화될 수 있다는 전망도 제시한다. 그는 이 과정이 급격한 모델 성능 도약보다는 기존 도구를 활용해 추론 시점 연산을 늘리는 데서 상당 부분 비롯될 것으로 본다.
효율이 높아지면 에이전트형 모델의 수요도 늘어나는 제번스 역설이 나타날 수 있다. Lambert는 업계의 주요 병목이 에이전트를 더 잘 활용하고 제공하는 방법을 찾는 데 있다고 설명하며, Meta의 Muse 에이전트를 초기 사례로 든다. 앞으로 다양한 이용자와 용도에 맞춘 유사한 경험이 등장할 수 있지만, 그 가치는 최첨단 성능 자체를 끌어올리기보다 에이전트를 활용하는 방법을 이해하는 데서 나올 수 있다고 본다.
생물학·화학 등 과학 분야에서는 AI가 문헌을 탐색하고 서로 드물게 연결된 하위 분야 사이의 연관성을 찾아낼 수 있다. 이것이 새로운 과학적 발견의 시대를 열지, 기존 과학 발전의 흐름을 가속할지는 아직 분명하지 않다고 Lambert는 덧붙인다.
그는 강화학습 환경의 품질 개선도 큰 기회로 꼽는다. 관련 데이터를 판매하는 기업 가운데 매출이 1억 달러나 10억 달러를 넘긴 사례가 예상보다 많지만, 연구자들은 구매 데이터의 상당수가 품질이 낮다고 평가한다. 그럼에도 선도 연구소들은 데이터 구매에서 뚜렷한 투자 수익을 얻고 있으며, 부실한 강화학습 환경은 개선할 수 있다고 주장한다.
AI가 ‘연구의 시대’에 들어섰다는 논의와 관련해 Lambert가 언급한 Ilya의 발언을 참고할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요