AI 기능은 하나의 모델에서 다시 나뉘기 시작한다

자야 굽타(Jaya Gupta)는 시스템의 1%만 표본 검사하던 방식에서 모든 항목을 평가하는 방식으로 옮겨갈 수 있다고 내다본다. 판단 기능이 1센트 미만에 수백 밀리초 안에 제공된다면 가능하다는 주장이다.

굽타는 지난 3년간 여러 기능을 한데 묶었던 대형 언어 모델(LLM)이 이제 판단·검색·순위 매기기·검증 같은 기능별로 나뉘고, 애플리케이션이 각 작업에 적합한 모델을 조합하는 흐름이 시작됐다고 주장한다. 에이전트를 만들거나 운영하는 팀이라면 어떤 작업에 고성능 모델을 쓰고 어떤 작업은 더 저렴한 도구로 처리할지 살펴볼 만한 관점이다.

‘지능의 분리’란 무엇인가?

대형 언어 모델은 문서에서 정보를 뽑고, 검색 결과를 비교하고, 의심스러운 점을 찾고, 도구를 고르거나 답변을 작성하는 등 여러 작업을 하나의 범용 제품에서 처리해 왔다. 한 모델을 중심에 두고 필요한 기능을 맡기는 구조는 여러 좁은 도구를 이어 붙일 필요를 줄였다.

굽타는 이를 여러 기능이 한 상자에 담긴 제품을 다시 나누는 일에 빗댄다. 핵심은 각 기능을 따로 호출할 수 있도록 만드는 것이다. 에이전트가 하나의 목표를 수행하면서 수백, 수천 번의 결정을 내리면 각 단계의 비용과 지연 시간이 누적돼 제품 전체의 경제성에 영향을 준다.

애플리케이션은 어떤 기능을 골라야 하나?

굽타가 말하는 변화의 동력은 추론 비용이 실제 제품 원가에서 차지하는 비중이 커지고, 작은 모델과 공개 가중치 모델도 일상적인 작업을 맡을 만큼 쓸 만해졌다는 점이다. 검색, 정보 검색, 재순위화, 기억, 컴퓨터 조작 기능도 별도의 기반 계층으로 나뉘고 있다. 애플리케이션에서 성능을 평가하는 체계가 나아져 더 저렴한 도구가 충분한지 가려낼 수 있다는 설명이다.

그는 고성능 모델의 발전도 기능 분리를 안전하게 만드는 요인이라고 본다. 평소에는 저렴한 도구를 쓰고, 해결하지 못하는 예외적인 문제만 고성능 모델로 넘길 수 있기 때문이다. 구조도 고성능 모델을 기본으로 쓰고 나중에 비용을 줄이는 방식에서, 저렴한 선택지를 기본으로 삼고 필요할 때만 고성능 모델을 쓰는 방식으로 바뀐다는 전망이다.

굽타는 TypeSafe의 Jev를 이 흐름의 사례로 든다. Jev는 정돈되지 않은 상태 정보와 범위가 정해진 질문, 가능한 답의 목록을 받아 자유 형식의 글 대신 구조화된 판단과 확률을 반환한다. 그는 판단 기능을 모델 계층에서 에이전트의 반복 작업에 맞는 비용과 속도로 제공하는 점이 새롭다고 본다.

애플리케이션이 원하는 결과가 ‘긴급/긴급하지 않음’, ‘계속/중단’, ‘허용/차단’ 같은 선택이라면, 언어 모델이 먼저 문장을 만들고 소프트웨어가 그 문장을 다시 결정값으로 바꾸는 과정은 불필요할 수 있다. 굽타는 생성된 글을 다시 판단값으로 바꾸는 데 드는 비용을 ‘디코더 세금(decoder tax)’이라고 부른다. 에이전트의 반복 과정에서 이런 변환이 자주 일어나므로, 일부 작업은 문장 생성 없이 처리할 수 있다는 주장이다.

고성능 모델에는 어떤 작업이 남나?

굽타는 앤스로픽의 매출총이익률이 80%를 넘는다는 보도를 언급하며, 클로드가 글쓰기·분류·정보 추출·순위 매기기·판단·코딩·계획·검증·추론을 한 제품 안에 묶은 사례라고 설명한다. 그에 따르면 단순 분류나 검증도 클로드 호출 안에서 이뤄지면 고성능 모델 수준의 비용이 든다. 기능별로 분리되면 어려운 추론에는 높은 가격이 붙을 수 있지만, 이메일의 긴급도를 판단하거나 검색된 문서 다섯 개를 순위화하는 일까지 같은 비용을 치러야 하는지 물을 수 있다.

판단 기능의 가격이 1센트 미만으로 내려가면 순위 매기기는 재순위화 도구로, 검색은 검색 서비스로, 정해진 작업은 코드로, 일반적인 글 생성은 저렴한 모델이나 공개 가중치 모델로 옮겨갈 수 있다고 굽타는 내다본다. 그의 분석에 따르면 이 변화는 앤스로픽의 이익률을 직접 겨냥하기보다, 이익률을 높이는 작업이 클로드 호출에 포함되는 비중을 줄일 수 있다.

그 결과 고성능 모델에는 더 어렵고 불확실한 작업이 몰릴 수 있다. 애플리케이션이 작업을 더 잘 분배할수록 반복적인 컴퓨터 조작은 브라우저용 모델이, 정해진 추론은 코드가, 일반적인 글 생성은 작은 모델이나 공개 가중치 모델이 맡는다. 고성능 모델은 더 복잡하고 장기적인 문제에 쓰이고 호출 횟수는 줄어들 수 있다. 또 남은 작업이 어려워지면 호출당 추가 연산량이 늘어날 가능성도 있다. 굽타는 고성능 모델의 위협을 단순히 더 싼 경쟁 모델이 아니라, 그 아래에서 작업이 분해되는 데서 찾는다.

써 보려면 무엇을 살펴야 하나?

기능별로 나뉜 작업을 다시 잇는 역할은 애플리케이션 계층에 돌아간다. 애플리케이션은 사람의 목표를 여러 인지 작업으로 나누고, 각 작업에 충분한 수준의 지능을 가장 싼 방식으로 배정한 뒤 결과를 결합한다. 문제가 생길 때만 더 강력한 모델로 넘기는 구조다. 굽타는 이를 ‘지능 컴파일러’에 비유한다.

기능마다 안정된 인터페이스가 생기면 공급자를 따로 비교하고, 교체하고, 작업을 분배하고, 가격을 정할 수 있다. 굽타는 이런 변화가 AI의 이익 기회를 없애는 것이 아니라, 각 기능이 비용을 정당화해야 하는 상황을 만든다고 주장한다.

그는 판단 기능을 1센트 미만에 수백 밀리초 안에 제공할 수 있다면 에이전트의 모든 동작 뒤에 판단 단계를 둘 수 있다고 본다. 수 초가 걸리는 추론이 너무 느린 브라우저나 음성 작업 흐름에도 지능을 넣을 수 있다는 설명이다. 그 결과 고객 지원 대화, 검색, 거래, 청구, 계약 조항, 고객 계정 등을 표본으로만 확인하지 않고 전부 평가하는 방식이 가능해질 수 있다. 이는 지속적인 감독과 품질 점검, 새로운 제품 흐름으로 이어질 수 있다는 전망이다.

굽타는 소프트웨어가 지금까지 모든 고객과 작업 흐름, 에이전트 동작, 상태 변화를 살피지 못한 이유로 지능을 계속 적용하기에는 비용이 높았다는 점을 든다. 판단·순위 매기기·검증 등의 비용이 충분히 낮아지면 소프트웨어가 더 많은 대상을 평가할 수 있다는 것이 그의 주장이다. 다만 글은 Jev의 구체적인 가격·성능 측정 조건이나 기능별 도구의 비교 결과를 밝히지 않는다.