AI 시스템은 판단과 생성을 나눠야 한다는 주장

Jev는 글을 만들지 않는다. 상태를 받아 소프트웨어가 쓸 수 있는 구조화된 판단을 내린다. 이 차이를 계기로 글쓴이는 기업의 AI 시스템에서 모든 일을 대형 언어 모델에 맡기기보다, 필요한 지능의 종류에 따라 역할을 나눠야 한다고 주장한다.

이 주장은 AI를 기업 업무에 적용하는 엔지니어링에 관심 있는 팀이 살펴볼 만하다. 글쓴이가 말하는 AI 운영 엔지니어링은 모델을 업무 시스템에 연결하고, 필요한 맥락과 권한을 정하며, 사람·에이전트·소프트웨어 사이에서 일을 배분하고 결과와 실패를 관리하는 일이다.

Jev는 무엇을 맡나?

Jev는 글을 생성하는 대신 주어진 상태를 바탕으로 특정 질문에 답하고, 소프트웨어가 활용할 수 있는 판단을 내리는 모델이다. 글쓴이는 분류, 우선순위 지정, 위험 감지처럼 생성보다 판단이 중심인 업무에 이런 모델을 쓸 수 있다고 본다.

예를 들어 고객 지원 티켓을 처리할 때는 대형 언어 모델이 문제를 분류하고, 긴급도를 정하고, 담당 제품 영역과 에스컬레이션 여부, 신뢰도까지 판단할 수 있다. 하지만 결과가 정해진 항목이라면 글을 생성하는 기능까지 필요하지 않을 수 있다는 게 글쓴이의 주장이다. 글쓴이의 직장에서는 현재 Claude가 티켓의 맥락을 모으고 분류와 에스컬레이션 여부 판단, 설명 작성과 답변 초안 작성 등을 맡는다. 이 가운데 일부에는 생성형 모델이 필요하지만, 분류처럼 그렇지 않은 작업도 있다는 사례다.

모든 판단을 대형 언어 모델에 맡기지 말아야 하나?

글쓴이는 AI 시스템의 구조를 데이터에서 판단 모델과 결정적 절차로 이어지고, 필요할 때 대형 언어 모델이나 사람에게 넘기는 방식으로 그린다. 명확한 규칙은 일반 소프트웨어가 처리하고, 빠른 확률적 판단은 Jev 같은 모델이 맡으며, 개방형 추론과 생성은 대형 언어 모델이 담당한다. 여러 단계의 도구 사용은 에이전트가 조율하고, 책임이나 모호성이 큰 일에는 사람이 개입한다는 구상이다.

그가 문제로 보는 것은 ‘모델이 할 수 있다’는 이유만으로 모든 일을 같은 모델에 맡기는 방식이다. 고객 사용량 감소, 여러 지원 요청, 갱신 시점 임박, 가격 우려 같은 정보를 합쳐 고객 이탈 위험을 판단하는 일은 단순한 규칙으로 표현하기 어렵다. 그렇다고 상태가 바뀔 때마다 대형 언어 모델을 부르는 것도 과도할 수 있다. 글쓴이는 이 사이에 기계의 판단은 필요하지만 추론까지는 필요하지 않은 업무가 많다고 본다.

이런 작은 판단은 조직 곳곳에서 반복된다. 고객, 티켓, 영업 기회, 통화, 제품 이벤트, 송장, 업무 절차와 에이전트의 행동마다 판단이 쌓이면 지연 시간, 비용, 관찰 가능성, 신뢰성이 중요해진다. 따라서 어떤 결정에 대형 언어 모델이 필요한지, 작은 판단 모델이나 코드로 처리할 수 있는지, 언제 사람에게 넘길지, 신뢰도가 낮을 때 어떻게 할지, 결정과 절차를 어떻게 추적하고 개선할지를 설계해야 한다는 설명이다.

에이전트가 기업의 여러 도구와 데이터에 접근하면 이 문제는 더 두드러진다. 의미 있는 행동 하나를 하기 전에 관련성이 있는지, 정보가 바뀌었는지, 더 찾아봐야 하는지, 위험한지, 자동 실행해도 되는지, 승인이 필요한지 등을 판단해야 할 수 있다. 글쓴이는 주 추론 모델 하나가 이런 작은 판단까지 모두 맡는 구조보다, 판단을 쪼개고 적절한 위치에 배치하는 구조가 필요하다고 본다.

실제 업무에 적용하려면 무엇을 확인해야 하나?

글쓴이가 제안하는 구성에는 결정적 논리를 위한 SQL과 일반 코드, 가벼운 판단을 맡는 Jev 유사 모델, 추론과 생성을 맡는 대형 언어 모델, 여러 단계의 실행을 맡는 에이전트, 영향이 큰 결정을 맡는 사람이 포함된다. 이를 연결하려면 맥락, 권한, 관찰 가능성, 평가, 대체 절차, 승인, 상태, 실행 조건과 피드백 순환도 필요하다는 주장이다.

다만 글쓴이는 Jev의 중요성을 아직 판단하지 못했다고 밝힌다. 실제 업무 절차에 적용해 시험하기 전이며, 데모만 보고 결론을 내리고 싶지 않다는 입장이다. 따라서 이 글은 Jev의 성능 검증 결과가 아니라, AI 시스템에서 어떤 종류의 지능을 어디에 쓸지 나눠 설계해야 한다는 의견이다. 원문은 실제 업무 시험의 결과나 Jev의 성능·비용 수치를 밝히지 않는다.