원문 캡처 · interconnects.ai
원문 캡처 · interconnects.ai

네이선 램버트(Nathan Lambert)는 모델을 공개한 뒤에도 추론 비용을 10~30% 줄일 수 있었던 사례를 든다. 앞으로는 이런 효율 개선이 더 빠르게 이어질 수 있다고 본다.

램버트는 AI의 공학 역량이 빠르게 커지더라도 모델이 본질적으로 달라지거나 범용 초지능으로 이어진다고 단정할 수는 없다고 주장한다. 그가 예상하는 가까운 변화는 현재 모델을 더 효율적으로 학습·운영하고, AI를 연구와 개발에 활용하는 방식이 달라지는 것이다. AI 연구자와 개발자, 에이전트 도입을 검토하는 조직이 눈여겨볼 만한 관점이다.

무엇이 병목을 바꾸나?

램버트는 오늘날 AI 연구에서 좋은 아이디어를 실제로 구현하고 복잡한 인프라에서 확장하는 능력이 중요하다고 본다. 딥러닝이 주목받기 전 AI는 연구 중심 분야였지만, 이후에는 아이디어를 구현하고 규모를 키우는 공학 역량이 연구자의 평가에서 큰 비중을 차지했다. 이제 코딩 에이전트가 연구 작업을 쉽게 만들면서, 다시 공학이 병목이 아닌 상황으로 이동할 수 있다는 전망이다. 그는 이를 급격한 자기개선(RSI) 시나리오보다 현실적인 ‘병렬화된 AI 보조 언어 모델링’으로 설명한다.

코딩 에이전트 덕분에 연구는 더 유연하고 접근하기 쉬운 작업이 되고 있다. 램버트는 이 변화가 실행 능력보다 좋은 아이디어의 가치를 높일 수 있다고 본다. 다만 지금까지의 변화는 연구 역량 자체가 갑자기 뛰는 것보다, 현재 도구로 추론 시점 연산(inference-time compute)을 늘리는 데서 더 많이 나올 수 있다고 본다.

어떤 근거로 효율 개선을 예상하나?

학습과 추론에는 측정하고 최적화하기 쉬운 지표가 있다. 학습에서는 GPU 한 대당 초당 처리 토큰 수를 볼 수 있고, 추론에서는 프롬프트당 토큰 수, 토큰당 연산량, 답변당 비용 등을 따질 수 있다. 램버트는 AI 에이전트가 몇 년 안에 이 과정을 처음부터 끝까지 최적화해, GPU 같은 가속기에서 가능한 연산량을 최대한 활용하게 될 것으로 예상한다.

그는 이미 모델을 발표한 뒤 서비스 비용을 10~30% 줄인 사례가 있었다고 든다. 이런 개선이 쌓이면 모델 지능을 얻는 실질 비용이 앞으로 몇 년간 거의 지수적으로 떨어질 수 있다는 것이 그의 전망이다. 이는 램버트의 예상이지, 글에서 독립적으로 검증한 결과는 아니다.

장기적으로는 가속기와 모델을 함께 설계해 GPU 플랫폼만 쓸 때보다 훨씬 큰 효율 개선을 얻을 수 있다고 본다. 그 과정에서는 구조를 폭넓게 탐색할 수 있는 GPU의 유연성이 중요하다고 말한다. 현재 모델 계열에 쓰일 구조와 데이터 선택을 다루는 사전학습 연구가 2~3년 안에 자동화될 수 있다는 전망도 내놓는다.

에이전트와 과학 연구에는 무엇이 달라지나?

효율이 높아지면 같은 일을 더 적은 비용으로 할 수 있지만, 램버트는 에이전트 수요가 줄기보다 늘어날 것으로 본다. 효율 향상으로 자원 사용이 오히려 늘 수 있다는 제번스 역설(Jevons paradox)을 에이전트에 적용한 전망이다. 그는 업계가 에이전트를 어떻게 설계하고 전달할지 알아내는 데 여전히 막혀 있다고 본다. 메타의 Muse 에이전트는 초기 사례이며, 앞으로 서로 다른 이용자와 용도에 맞춘 유사한 경험이 나올 수 있다고 말한다. 이 변화의 가치는 모델 성능의 최전선을 밀어붙이는 데만 있지 않고, 에이전트를 이해하고 활용하는 데서도 생긴다는 주장이다.

생물학과 화학 같은 과학 분야에서는 모델이 서로 드물게 연결되던 연구 하위 분야 사이에서 연관성을 찾을 수 있다고 본다. 과학 문헌을 넓게 살피고 흩어진 연구를 연결하는 데 모델이 강점을 보일 수 있다는 설명이다. 그러나 그 결과가 암 대부분의 치료법 같은 새로운 과학 발견의 시대를 여는 것인지, 과학이 이미 가던 길을 더 빠르게 가게 하는 것인지는 구분해야 한다고 덧붙인다.

램버트는 강화학습 환경의 품질도 개선할 수 있는 영역으로 꼽는다. 그는 강화학습 데이터 업체 중 매출 1억 달러 또는 10억 달러를 넘긴 곳이 늘었지만, 업계의 평균 산출물 품질은 낮고 많은 연구자가 구매한 데이터의 질을 비판한다고 쓴다. 동시에 선도 연구소는 데이터를 사는 데서 분명한 투자 수익을 얻고 있다고 설명한다. 환경의 낮은 품질은 고칠 수 있다는 것이 그의 주장이다.

에이전트 수요와 연구 자동화의 전망은 램버트의 판단이다. 원문은 이 전망을 뒷받침할 구체적인 측정 방법이나 독립 검증 결과, 각 변화가 실현될 정확한 범위를 밝히지 않는다.