에이전트 실행 전에 모델이 지어낸 값을 걸러내자는 명세가 나왔다

모델이 추론 과정에서 출처 없이 채운 값이 실제 도구 실행에 들어가지 않도록 하는 명세가 제안됐다. 도구 제공자와 사용자가 실행 조건을 미리 선언하고, 실행 계층이 값의 출처를 직접 확인해 미확인 항목이 남아 있으면 실행하지 않는 방식이다.

제안 문서는 모델이 도구와 실행 조건, 입력값을 고르는 과정에서 근거 없는 빈칸을 채울 수 있다고 지적한다. 입력 스키마는 인수 이름과 자료형만 담을 수 있어, 잔액이 실행 금액보다 커야 한다거나 실행 전 사용자 확인이 필요하다는 조건은 설명문에 묻히거나 아예 빠질 수 있다는 설명이다.

명세는 모델의 추론과 에이전트의 실행을 분리한다. 여기서 에이전트는 일반적으로 쓰이는 모델·도구 실행 흐름 전체가 아니라 실행 계층을 뜻한다. 도구 제공자는 도구별 조건을, 사용자는 위임 범위를 실행 전에 체크리스트로 선언한다. 실행 계층은 값 자체를 받아 검증하는 대신 값이 있어야 할 위치를 확인하고, 사용자가 말한 내용과 사전 승인 설정, 시스템 측정값에서 출처를 조회한다. 이들 출처에서 확인되지 않는 값은 미확인 상태로 남으며, 미확인 항목이 있는 동안 실행 가능한 상태가 되지 않는다.

도구 선택은 입력값처럼 출처를 확인해 입증할 수 없다. 제안 문서는 사용자가 요청한 행동과 시점, 허용된 도구 범위에 비춰 비교할 수는 있지만 자연어로 표현된 의도에 도구가 부합하는지를 코드로 완전히 증명할 수는 없다고 한계를 밝힌다.

실행 결과에는 사용자가 밝힌 의도와 목적, 각 값의 출처, 확인한 조건, 미확인 항목, 선언되지 않은 기준을 기록한다. 명시된 의도와 해석된 의도도 구분한다. 도구를 호출하는 쪽은 이 기록을 보고 실행 여부를 결정한다. 스키마 검증, 도구 서버 검사, 권한 계층, 프롬프트는 그대로 유지하며, 명세는 기존 장치를 대체하기보다 실행 근거를 기록하는 절차를 추가하는 구상이다.

조건을 확인할 수 없어 실행을 막은 뒤의 처리도 제안에 포함됐다. 사용자가 답할 수 있으면 질문하고, 시스템만 확인할 수 있으면 측정하며, 아무도 확인할 수 없으면 해당 기준을 선언한 쪽에 정의를 보완하도록 돌린다. 확인된 조건이 실행을 금지하면 보류 상태로 기록한다. 실행 준비가 끝났는지는 신뢰도 점수가 아니라 미확인 항목의 수로 판단한다.

문서는 현행 관행과 달리 모델이 빈칸을 채우도록 두지 않고, 확인되지 않은 정보는 해결 대상으로 남긴다고 설명한다. 구체적인 명세는 Taking Definition and Verdict Authority Out of the Model에서 확인할 수 있다. 근거 없는 추측에 의존하는 실행을 줄이려는 설계 제안이며, 원문은 구현이나 검증 결과를 제시하지 않는다.