Jev와 진실 유지 시스템으로 AI 판단 근거를 추적한다

대규모 언어 모델(LLM)은 자연어 지시만으로 복잡한 작업을 처리할 수 있지만, 비용과 비결정성, 판단 근거를 검증하기 어려운 문제가 있다. Jev처럼 질문에 구조화된 답과 확률을 내놓는 모델을 명시적 규칙 및 진실 유지 시스템과 결합하면, 판단을 더 일관되게 내리고 그 근거를 살필 수 있다는 제안이다.

에이전트에 모든 정보를 주고 도구를 쓰게 하는 방식은 유연하지만, 대량·저마진 업무에서는 결정마다 드는 비용이 부담이 될 수 있다. 모델을 바꾸면 지시문 전체에서 성능 저하가 있었는지 확인하기도 어렵다. 같은 입력과 지시에도 답이 달라질 수 있어, 예측 가능한 동작과 결정에 대한 증거가 필요한 업무에는 맞지 않을 수 있다. 특히 규제가 강한 분야에서는 판단을 통제하고 그 통제가 작동한다는 근거를 제시해야 한다.

대출 심사에 모델을 쓴다고 가정해 보자. 법적으로 인종·종교·성별을 대출 결정의 근거로 삼을 수 없지만, 금융 기록이나 고용 이력이 그런 특성을 드러내거나 암시할 수 있다. 모델의 사고 과정을 읽는 것만으로는 판단에 해당 특성이 영향을 주지 않았음을 입증하기 어렵다. 모델 제공업체가 추론 기록을 공개하지 않을 수도 있고, 기록이 공개되더라도 모델이 답에 이른 과정을 충실히 보여준다고 보장할 수 없다. 사후에 그럴듯한 설명을 만드는 것과 실제 판단 과정을 추적하는 일도 다르다.

Jev 같은 ‘시스템 1’ 모델은 문장을 생성하는 대신 입력된 맥락을 유형이 정해진 질문과 대조한다. 선택지를 고르거나 점수를 매기고, 진술이 참인지 추정해 코드가 바로 처리할 수 있는 구조화된 답과 확률을 반환한다. 예컨대 “프린터가 또 고장 났어. 와서 고쳐줬으면 좋겠어”라는 메시지에서 어머니가 원하는 것이 방문인지, 전화인지 등을 판별하도록 설정할 수 있다. 이 방식으로는 편지를 자동 작성하기 어렵지만, 상대가 무엇을 원하는지 파악하는 데 활용할 수 있다.

TypeSafe는 Jev 제작사로서 좁은 질문을 던지고, 답을 코드의 논리와 결합하라고 권한다. Jev는 70~500밀리초에 답을 내고 Anthropic의 Sonnet보다 약 100배 저렴하다고 소개됐다. Jev의 출시와 유용성을 둘러싼 논의는 출시 게시물, 벤치마크 글, 비판적 글에서 확인할 수 있다.

여러 단계의 판단을 조합하고, 서로 모순되는 증거를 다루며, 결론을 근거와 연결하는 방법으로 제안된 것이 진실 유지 시스템(truth maintenance system)이다. 1979년 존 도일(Jon Doyle)은 프로그램이 무엇을 믿는지, 그리고 왜 그렇게 믿는지를 기록하는 체계를 제안했다. 각 믿음은 이를 뒷받침하는 다른 믿음과 가정에 연결된다. 새로운 정보가 기존 믿음과 충돌하면 어떤 믿음이 여전히 근거를 갖고 있고 무엇을 철회해야 하는지 확인할 수 있다. 요한 데 클레르(Johan de Kleer)는 1986년 이 아이디어를 확장해, 여러 가정에 따른 세계의 가능성을 동시에 추적하는 시스템을 제시했다.

가족 관계를 예로 들면, 부모와 자녀는 친척이고 결혼한 두 사람도 친척이며, 이런 관계가 이어지는 사람들도 친척이라는 규칙을 둘 수 있다. 각 가족 관계를 사실로 기록하면, 이 사실과 규칙으로부터 특정 두 사람이 친척인지 판단하고 그 결론에 이르는 경로를 살펴볼 수 있다. 같은 사실과 규칙은 관련 없는 사실이 바뀌더라도 같은 답을 내며, 판단 근거도 확인할 수 있다.

이런 규칙 엔진과 진실 유지 시스템은 지식을 사람이나 문서에서 꺼내 명시적인 사실과 규칙으로 만드는 데 많은 노력이 들어, 활용 범위가 제한적이었다. 이를 ‘지식 획득 병목’이라고 부른다. 제안된 Factbag은 사람과 에이전트가 견고한 추론 절차를 만들도록 돕는 초기 실험이다. 도메인 전문가와 LLM이 규칙을 함께 정리해 재사용하고 일관되게 평가하거나, 에이전트의 조사와 판단 과정을 지식 기반에 기록해 규칙의 결함·증거의 공백·적용 오류를 살피는 데 쓰도록 구상됐다.

Factbag은 아직 초기 단계다. 지금 이 접근을 적용하려면 Datalog이나 Prolog 같은 기존 논리 프로그래밍 언어가 더 간단한 출발점일 수 있다. 두 언어는 사실과 규칙을 표현하며 제안된 접근의 많은 부분을 구현할 수 있지만, 전부를 포괄하지는 않는다. 글은 LLM과 시스템 1 모델이 명시적 추론 기법을 쓸 수 있는 업무를 넓힐 가능성을 제기한다.

제안의 배경에는 컴퓨터 과학을 과정에 대한 직관을 형식화하고, 일을 하는 방법을 정확히 표현하는 언어를 만드는 분야로 보는 관점이 있다. 컴퓨터는 도구이며, 그보다 오래가는 기여는 무엇이 참인지 정밀하게 말하는 방법을 마련하는 데 있다는 것이다. LLM이 등장했어도 규칙과 과정의 형식화가 여전히 중요하며, 구조화된 모델 판단과 추적 가능한 규칙을 결합하는 방식이 이를 현실의 업무에 적용하는 실마리가 될 수 있다는 주장이다.