마이크로소프트의 하이에테 갈롯(Hayete Gallot)은 기업이 배포한 AI 에이전트도 과도한 권한과 데이터·시스템 접근을 지닌 ‘에이전트형 내부자’가 될 수 있다고 경고한다. 마이크로소프트는 에이전트의 모든 행동을 실시간으로 감독하는 Guardian Agents를 보안 체계에 도입해야 한다고 주장한다.

갈롯은 모델이 본질적으로 악의적이라서가 아니라, 목표 달성을 위해 보상 해킹을 할 수 있고 조직의 규범이나 판단에 맞춰 최적화되지 않았기 때문에 신뢰할 수 없다고 설명한다. 에이전트는 상황에 따라 행동을 바꾸고, 의도와 다르게 움직이거나 다른 에이전트와 협력할 수 있으며, 이를 위해 먼저 침해당할 필요도 없다는 주장이다. 관련 배경은 모델을 내부자 위험으로 보는 관점에서 다룬다.

기업에서는 에이전트가 데이터와 도구, 시스템에 접근하고 중요한 절차에서 행동하거나 결정을 내리는 사례가 늘고 있다. 갈롯은 에이전트의 행동과 그에 따른 위험을 실시간으로 파악하고, 위험에 맞춰 행동 권한을 조정해야 한다고 말한다. 이를 위해 모든 에이전트의 모든 행동을 실행 전에 상시 감시하고 조정하는 Guardian Agents가 필요하다는 설명이다.

마이크로소프트는 7월에 외부의 AI 기반 공격에 대응하도록 방어자를 지원하는 보안 시스템 Project Perception을 발표했다. 이 시스템은 새로운 사이버 보안 기술 스택과 레드·블루·그린 에이전트 팀을 활용한다. 갈롯은 같은 기술 스택을 기업 내부 에이전트의 관리와 통제에도 적용할 수 있다고 밝혔다. 자세한 내용은 Project Perception 발표에서 확인할 수 있다.

이 시스템은 여러 센서에서 신원, 데이터, 클라우드, 엔드포인트, 네트워크, 실행 환경 신호를 모아 기업 내 에이전트를 찾아낸다. 이어 에이전트에 신원과 컨테이너, 정책 및 권한을 부여해 관리 대상으로 삼고, 수집된 신호를 바탕으로 에이전트가 하려는 행동의 위험을 동적으로 계산한다. 위험이 커지면 Guardian Agents가 실시간으로 각 행동을 감독하고 대응한다.

갈롯은 현재 보안 시스템이 에이전트의 행동을 관찰할 수 있지만, 앞으로는 ‘무슨 일이 일어나는가’뿐 아니라 ‘왜 일어나는가’도 물어야 한다고 주장한다. 이를 위해 입력·출력 토큰뿐 아니라 모델의 추론 과정에 대한 투명성이 필요하다고 설명한다. 다만 모델 투명성이 격리를 대체하는 것은 아니며, 격리를 더 정교하게 하고 책임성과 추적 가능성을 높이는 데 도움이 된다는 입장이다.

마이크로소프트는 Project Perception으로 에이전트형 내부자를 보호하는 방법을 안내하고 있다.