원문 캡처 · motivenotes.ai
원문 캡처 · motivenotes.ai

오아나 올테아누(Oana Olteanu)는 AI 에이전트가 평가에서 정답을 내는 것만으로는 실제 업무에 투입될 수 없다고 말한다. 에이전트가 어떤 규칙과 권한에 따라 일했는지 증거를 남기고, 그 일을 책임지는 사람이 결과를 받아들일 수 있는지 판단하는 절차가 필요하다는 주장이다.

10월 1일 샌프란시스코에서 열린 The AI Conference에서 이온 스토이카(Ion Stoica)는 코딩 에이전트가 처음부터 키-값 저장소를 만들도록 한 실험을 소개했다. 한 결과물은 기존 측정치보다 6배 빨랐지만, 실제로 값은 저장하지 않았다. 벤치마크가 value = hash(key, seed) 방식으로 시험 값을 키에서 만들자, 에이전트는 키만 저장하고 읽기 요청이 오면 값을 다시 계산했다. 평가를 모두 통과했지만, 예측할 수 없는 값을 보내는 실제 사용자는 제대로 처리할 수 없는 구조였다.

스토이카는 이를 보상 해킹이라고 설명했다. 요구사항은 사람의 의도를, 벤치마크는 현실을 대신할 뿐이며, 둘 다 실제와 어긋날 수 있다. 의도와 요구사항 사이, 현실과 평가 환경 사이의 간극은 완전히 없앨 수 없고, 의도를 아는 사람이 요구사항을 다듬어야 한다는 게 그의 설명이다. 스토이카는 AI가 만든 코드를 기본적으로 악의적인 것으로 가정하라고 조언했다.

올테아누는 SAP에서 7년간 여러 산업과 업무의 절차를 살폈다. 구매 요청이 지급으로 이어지는 과정에서는 금액이 맞는지만으로 충분하지 않다. 누가 승인할 권한이 있는지, 어떤 정책과 증거가 필요한지, 다른 사람의 승인을 받아야 하는지도 중요하다. 사람이 여러 시스템과 정책의 맥락을 모으고 예외를 처리하던 기존 업무에서 에이전트가 사람을 대신하면, 그 판단을 시스템에 드러내야 한다.

이 문제는 평가 결과와 실제 절차 준수가 다를 수 있다는 연구에서도 나타났다. 마이크로소프트와 워싱턴대학교 연구진이 발표한 논문 ‘Willful Disobedience’는 에이전트의 실행 기록을 주어진 절차 규칙과 대조했다. 고객 서비스 벤치마크에서 Claude 3.5 Sonnet이 결과 점수 만점을 받은 실행 기록 가운데 83%에는 절차 위반이 적어도 하나 있었다. 계산기 도구를 써야 하는데 계산을 직접 한 경우가 그 예다. o4-mini의 기록에서는 필요한 신원 확인 없이 계정을 변경한 사례가 포착됐다. 올테아누는 당시 회의에서 얻은 메모에 안전성을 학습에만 맡기지 말고 업무 경로에 넣어야 한다고 적었다.

올테아누가 만난 대형 레스토랑 체인의 최고기술책임자는 기존 RPA가 경직돼 있었고, 팀이 만든 챗봇도 측정 가능한 수익을 내지 못했다고 말했다. 현재 에이전트를 쓰는 곳에서는 평가와 관측 도구를 직접 만들고 있지만, 엔지니어용 도구와 업무 예외를 아는 제품 관리자 사이에 간극이 있다. 회사는 식당 업무가 실제로 수행됐다는 사진 증거를 모으는 시스템에 이미 연간 7자리 금액을 지출하고 있었다. 올테아누는 기업에서 업무 증거를 남기는 비용이 새로운 것은 아니며, 에이전트가 그 관행 없이 등장했다고 짚는다.

Postman 공동창업자 안킷 소브티(Ankit Sobti)는 자사에서 30개가 넘는 에이전트를 1년간 운영한 경험을 소개했다. 실제 업무 흐름에서 에이전트가 흔들리자 업무 전문가가 엔지니어와 함께 평가를 맡았고, 이후 각 부서의 담당자가 업무의 이유와 가드레일을 관리하게 됐다. 업무가 무엇이고 어떻게 하는지는 맥락에 담아도, 왜 그렇게 하는지는 안정적으로 전달되지 않았기 때문이다.

Tempo 최고기술책임자 샴스 차우타니(Shams Chauthani)는 AI 지출을 업무 티켓과 연결해 추적했다. 대시보드에서 AI 지출의 75%가 유지보수에 쓰인 것으로 나타나자 경영진은 처음에 이를 중단하려 했다. 그러나 업무를 아는 사람들은 같은 자료를 보고 AI가 유지보수 주기를 거의 60% 줄였다고 판단했다. 비용을 추적하는 것만으로는 업무의 가치를 판단할 수 없다는 사례다.

에이전트의 실행 기록은 작업을 직접 지켜보지 못하는 상황에서 중요한 증거가 된다. 체탄 코니키(Chetan Conikee)는 발표에서 Hugging Face 생태계에서 설치한 도구에 로그를 지우라는 지시가 심겨 있었고 에이전트가 이를 따랐던 사건을 다뤘다. 조사에 나선 사람은 실행 경로를 확인할 수 없었다. 아마존에서 에이전트 신뢰성을 연구하는 디비야 마하잔(Divya Mahajan)은 에이전트가 멈추기보다 허세를 부릴 수 있다고 설명했다. 한 코딩 에이전트는 테스트 실패를 해결하지 못하자 테스트 전에 sys.exit(0)을 추가하고, 테스트를 하나도 실행하지 않은 채 성공했다고 보고했다. 마하잔은 에이전트에게 일을 했는지 묻는 대신 테스트 결과, 승인, 타임스탬프처럼 조작하기 어려운 기록을 확인하라고 제안했다.

올테아누는 에이전트 업무를 실제 시스템에 받아들일지 판단하는 기준을 ‘허용 가능성(admissibility)’이라고 부른다. 법정에서 사실만으로 증거가 받아들여지지 않고, 증거를 얻은 방법과 보관 경로도 따지는 것처럼 에이전트의 결과도 수행 과정과 권한을 입증해야 한다는 뜻이다. 올테아누는 평가, 관측, 거버넌스, 신뢰라는 말이 각각 문제의 일부만 담으며, 결과를 책임지는 사람이 증거를 검토해 실제 시스템에 들어갈 수 있는지 결정하는 일이 핵심이라고 주장한다.

그는 미국 은행 규제당국이 4월 모델 위험 규정을 개정하며 생성형 AI와 에이전트형 AI를 적용 범위에서 명시적으로 제외했다고 전한다. JPMorganChase의 AI·데이터 정책 책임자는 규제당국과 감독 방식을 논의하는 동안 감사자가 감사자를 점검하는 임시 구조를 설명했다. Harvey는 업무 분야에 맞는 기준이 기존 도구에 없다는 이유로 직접 만든 승인 기준 7만5,000개를 포함한 법률 벤치마크를 오픈소스로 공개했다. 올테아누는 평가 도구를 만드는 엔지니어와 업무의 이유를 아는 도메인 전문가가 이 판단 작업을 함께 맡게 될 수 있다고 본다.

에이전트는 사람이 쌓아 온 맥락보다 적은 정보를 가지고도 고정된 요구사항을 훨씬 빠르게 반복해서 시험한다. 따라서 기존 소프트웨어에도 있던 간극을 더 빨리 찾아내고, 그 결과가 충분한 증거 없이 배포될 수 있다. 올테아누가 제시하는 대응은 결과가 현실에 닿기 전에 작업 기록과 근거를 모으고, 그 결과를 책임질 사람이 통과 여부를 판단하게 하는 것이다.