TL;DR

  • LLM 에이전트 플릿이 공동 트리거 아래에서 개별 승인 한도를 초과할 수 있어, 런타임이 주체별 누적 잔여 위험가치(VaR)를 추적하고 예산 초과 효과를 거부하는 비가역성 예산이 제안됨.
  • 에이전트 플릿은 자금 이동, 코드 배포, 데이터 삭제, 정보 공개처럼 완전히 되돌릴 수 없는 효과를 외부에 발생시킴.
  • 효과별 제어만 적용하면 개별 에이전트가 모두 승인된 상태에서도 주체의 전체 위험 한도가 초과될 수 있음.
  • 통제 연구에서 효과별 게이트는 테넌트 위험 한도의 최대 48배에 해당하는 플릿 단위 초과 인출을 허용한 반면, 올바르게 가격이 책정된 예산은 모든 실행을 한도 안에 유지함.
  • 효과가 이질적이고 적대적으로 선언될 수 있으며 서로 상관되므로, 배포 가능한 설계를 위한 보수적이고 의존성을 인식하는 가격 책정이 핵심 미해결 과제임.

논문 개요

  • 논문 제목은 The Irreversibility Budget: Fleet-Level Risk Accounting and Admission Control for Agent Operating Systems임.
  • Bardia Mohammadi와 Laurent Bindschaedler가 작성함.
  • 제출일은 2026년 8월 31일임.
  • 분류는 인공지능(cs.AI), 분산·병렬·클러스터 컴퓨팅(cs.DC), 운영체제(cs.OS)임.

문제 정의

  • 대형 언어 모델(LLM) 에이전트 플릿이 자금 이동, 코드 배포, 데이터 삭제, 정보 공개처럼 완전히 되돌릴 수 없는 효과를 외부에 발생시킴.
  • 현재 제어 체계는 한 번에 하나의 효과만 검사함.
  • 이에 따라 개별적으로 승인된 에이전트 플릿이 공동 트리거 아래에서 주체의 위험을 초과 인출할 수 있으며, 각 로컬 게이트는 올바른 상태로 남을 수 있음.

비가역성 예산

  • 비가역성 예산(irreversibility budget)은 각 주체에 대해 여러 에이전트, 워크플로, 테넌트 전반의 잔여 위험가치(Value-at-Risk)를 누적 기록하는 계정임.
  • 신뢰할 수 있는 런타임이 각 주체의 비가역성 예산을 유지함.
  • 비가역성을 일급 리소스로 취급하고 각 효과에 에이전트 하위 수준의 잔여 손실을 청구함.
  • 누적 효과가 예산을 초과하게 만드는 한계 효과(marginal effect)는 런타임이 거부함.

위험 가격 책정의 과제

  • 효과마다 성격이 달라 동일한 방식으로 위험을 산정하기 어려움.
  • 효과의 위험 정보가 적대적으로 선언될 수 있음.
  • 여러 효과가 서로 상관될 수 있어 개별 효과의 단순 합산만으로는 전체 위험을 충분히 반영하기 어려움.
  • 보수적이고 의존성을 인식하는 가격 책정이 실제 배포 가능한 설계를 위해 남은 핵심 과제임.

통제 연구 결과

  • 통제된 연구에서 효과별 게이트(per-effect gate)가 플릿 수준의 위험 초과 인출을 허용하는지 평가함.
  • 효과별 게이트만 적용한 경우 테넌트의 위험 한도보다 최대 48배 큰 플릿 단위 초과 인출이 발생함.
  • 올바르게 가격이 책정된 비가역성 예산을 적용한 경우 모든 실행이 테넌트의 위험 한도 안에 유지됨.

서지 정보

  • 인용 표기는 arXiv:2609.00275 [cs.AI]임.
  • 이 버전 표기는 arXiv:2609.00275v1 [cs.AI]임.
  • DOI는 다음과 같음.
  • https://doi.org/10.48550/arXiv.2609.00275
  • 제출 기록은 다음과 같음.
  • 버전: v1
  • 제출 시각: 2026년 8월 31일 19:18:09 UTC
  • 파일 크기: 519KB
  • 전문 접근 항목은 PDF, 실험적 HTML, TeX Source임.