앤드루 응(Andrew Ng)은 에이전트가 사람보다 훨씬 많은 검색·저장·분석 작업과 금융 거래를 수행하게 되면서 컴퓨팅·저장·네트워크 수요가 급증할 것이라고 본다. 이에 따라 기업은 시스템을 재설계하고 데이터센터 용량을 늘려야 하며, 언어 모델의 토큰 처리 속도뿐 아니라 도구 실행 속도도 높여야 한다고 주장한다.
응은 2024년에 에이전트 워크플로가 많은 토큰을 소비하므로 추론에 더 많은 컴퓨팅 인프라가 필요하다고 예측했다. 그는 에이전트가 사람과 마찬가지로 컴퓨터를 점점 더 많이 사용하면서 컴퓨팅뿐 아니라 저장 공간과 네트워크 수요도 크게 늘어날 초기 단계에 들어섰다고 말한다.
응이 연구 논문을 검토하는 자신의 에이전트(paperreview.ai/)는 보통 하루에 웹 검색을 약 5,000~10,000회 수행한다. 이는 응이 직접 검색하는 횟수보다 훨씬 많다. 소비자용 챗봇에서도 하나의 프롬프트가 여러 차례 웹 검색을 일으킬 수 있어, 에이전트 워크플로가 늘면 검색 수요도 증가할 것이라는 설명이다.
데이터 분석 작업도 마찬가지다. 응은 코딩 에이전트로 여러 애플리케이션에 분석용 계측 기능을 추가하고, 에이전트를 이용해 데이터를 분석하고 결론을 도출한다. 그는 에이전트가 사람이 수작업으로 다루는 것보다 훨씬 많은 데이터를 저장하고 불러와 분석하게 되면서 메모리와 장기 저장소 수요가 늘어날 것이라고 본다.
응은 금융업을 사례로 들었다. 온라인 뱅킹이 등장하기 전에는 은행 창구 직원이나 이후의 현금자동입출금기를 통해서만 잔액을 조회할 수 있었다. 온라인 뱅킹은 거래 수를 크게 늘렸고, 많은 은행이 증가한 거래량을 감당하도록 인프라를 재설계해야 했다. 앞으로 에이전트가 금융 거래를 대신 수행하면 거래량이 다시 늘어 은행이 인프라를 확충해야 한다는 게 응의 전망이다.
그는 여러 애플리케이션과 거래 유형, 경제 부문에서 에이전트가 상당한 거래량을 만들어낼 것이며, 많은 기업이 늘어난 규모를 처리하도록 시스템을 바꿔야 한다고 주장한다. 이를 뒷받침하려면 컴퓨팅·저장·네트워크를 제공하는 데이터센터도 크게 늘려야 한다는 설명이다.
응은 언어 모델의 토큰 처리량을 높여 에이전트 작업을 빠르게 하려는 팀이 많지만, 모델이 사용하는 도구의 속도도 높여야 한다고 강조한다. 일부 애플리케이션에서는 토큰 생성보다 도구 호출이 병목이 되기 때문이다. 예를 들어 응의 데이터 분석 에이전트는 데이터를 가져오고 처리하는 코드를 빠르게 만들지만, 실제 데이터 검색과 처리는 훨씬 오래 걸릴 수 있다. 웹 검색에서도 검색어를 생성하는 시간보다 검색을 수행하고 선택한 페이지를 가져오는 데 시간이 더 걸리는 경우가 많다고 설명한다.
응은 새로운 에이전트 작업에 맞춰 소프트웨어 전체 스택을 최적화하는 일이 중요하다고 말한다. 그가 소개한 데이터센터의 에너지·물 효율성도 이 과정에서 데이터센터를 짓는 일이 핵심이 될 이유로 들었다. 응은 AI 기술을 불신하거나 그 영향을 우려해 확산을 늦추려는 사람들이 결집한 반데이터센터 움직임이 용량 확충을 어렵게 하고 있다고 주장한다. 다만 AI의 이점이 더 잘 알려지면 여론이 바뀌고 데이터센터 용량 확대가 모두에게 이익을 가져올 것으로 낙관한다고 밝혔다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요