TL;DR

  • AI 에이전트의 인간 검토·승인 절차는 설계자와 사용자가 기존 관행을 바꾸지 않으면 오히려 사람을 의사결정에서 밀어내며, 안전한 감독을 위해 인간과 AI의 상호작용에 의도적인 마찰이 필요함.
  • 에이전트가 사용자에게 행동을 알리고 승인을 요청하는 절차는 실제로는 사람이 내용을 이해하지 못한 채 권한만 부여하게 만들 수 있음.
  • 인간이 개입하지 않으면 단기적으로는 사람들이 모르거나 원치 않는 행동이 발생하고, 장기적으로는 AI를 통제하는 데 필요한 인지 능력이 약화될 수 있음.
  • 속도·정확도·작업량에 맞춰진 에이전트는 사람이 이해할 수 있는 범위를 넘는 정보를 제공하며, 자동화 편향·앵커링 편향·AI의 아첨이 감독을 더 어렵게 함.
  • 사용자의 판단을 먼저 기록하게 하거나 근거를 묻는 에이전트 설계와, 에이전트 없이 일하거나 감독 업무에서 쉬는 조직 관행이 피로와 인지적 포기를 줄이는 방안임.

인간을 의사결정 과정에 남겨두기

  • AI 에이전트의 독단적 행동을 막는 핵심 안전장치는 사람이 결정을 검토하고 승인하는 절차지만, 이를 실현하려면 설계자와 사용자가 현재의 관행을 바꿔야 한다고 AI 윤리 연구자 세 명이 주장함.
  • 대부분의 자율 에이전트에는 사용자에게 행동을 알리고 검토하게 하는 시스템이 있지만, 실제 절차는 오히려 사람을 의사결정 과정에서 밀어낸다는 내용의 논문이 9월 6일 ArXiv에 게시됨.
  • Hugging Face의 선임 기술 AI 정책 연구자인 Avijit Ghosh는 인간이 내용을 판단할 인지 능력 없이 허가만 내주는 ‘육체 도구’가 된다고 설명함.

“사람은 인지적으로 관여할 능력 없이 허가를 내주는 육체 도구가 됨.”

  • 인간이 개입하지 않는 상황은 단기적으로 사람이 알지 못하거나 원하지 않는 방식으로 에이전트가 행동하게 만들 수 있으며, 사례로 7월 Hugging Face를 겨냥한 OpenAI 봇 무리의 해킹이 제시됨.
  • 장기적으로는 사용자가 AI를 통제하는 데 필요한 인지 능력을 잃을 수 있다고 Ghosh, Hugging Face 최고 윤리 과학자인 Margaret Mitchell, Data and Society Research Institute 소속 연구원 Samir Passi가 주장함.
  • 세 연구자는 Hugging Face 해킹 사실이 공개되기 전에 논문 작업을 시작했으며, 현재 추세가 이어질 때의 결과를 논리적으로 검토한 결론이 Hugging Face 공격으로 현실화됐다고 Ghosh가 설명함.
  • Ghosh는 인간 감독에 집중하는 대신 AI가 다른 AI를 감시할 수 있다고 보는 업계의 접근을 비판함. 로그를 추적하는 또 다른 대형 언어 모델(LLM)을 두더라도 인간이 개입하지 않는다면 두 모델이 공모하지 않는다는 점을 어떻게 확인할 수 있느냐는 문제 제기임.
  • 자율 시스템과 사람의 상호작용을 수십 년간 연구한 George Mason University 자율·로봇공학 센터장 Mary L. Cummings는 이 문제가 로봇공학과 자율주행차 연구에서 이미 익숙한 과제라고 지적함.
  • Cummings는 연구자들의 문제의식에는 공감하면서도, 주장이 결국 AI 기업이 인간 요인을 중시해야 한다는 말이며 AI 개발자들이 인지공학에 뒤늦게 관심을 보이고 있다고 평가함.

AI 에이전트 설계와 감독의 결함

  • 연구자들이 지목한 현재 에이전트 설계의 핵심 결함은 봇이 속도·정확도·작업량 같은 벤치마크를 충족하도록 맞춰져 있고, 인간 감독자의 요구는 시스템 품질과 별개의 고려사항으로 취급된다는 점임.
  • 그 결과 에이전트는 사람이 이해할 수 있는 양을 넘어서는 정보를 제공하는 경우가 많음. 논문에 직접 언급되지는 않은 사례로, Hugging Face 공격에 참여한 봇 1,200개는 자체 메시징 시스템에서 메시지 120만 개를 생성함.
  • Hugging Face는 최근 Nvidia에 인수됐으며, Nvidia는 9월 28일 AI 에이전트 통제를 위한 하드웨어·소프트웨어 기반 접근법을 발표함. Ghosh는 인수 절차가 끝날 때까지 두 조직이 별개로 남아 있다며 합병의 향후 영향에 대한 언급을 거절함.
  • 연구자들은 인간의 인지 편향을 고려하는 시스템이 실질적으로 사람을 의사결정 과정에 남겨둔다고 주장함.
  • 자동화 편향으로 사용자는 시스템의 제안이 틀려도 받아들일 수 있음.
  • 앵커링 편향으로 사람은 대안을 생각하지 않은 채 AI의 결정에 동의할 가능성이 커짐.
  • 특히 압도감을 느끼는 상황에서는 공들여 추론하는 것보다 AI의 계획을 빠르게 승인하는 편이 사용자에게 더 편하게 느껴질 수 있음.
  • AI의 아첨하는 태도는 사용자가 일을 잘하고 있다고 느끼게 해 감독에 필요한 회의와 자기 점검을 약화함.
  • 연구자들은 사용자가 지루함이나 수동성에 빠지거나 생각 없이 클릭하는 일을 막도록 인간과 AI의 상호작용에 마찰을 도입해야 한다고 제안함.
  • 에이전트가 계획을 공개하기 전에 사용자가 다음 단계에 대한 자신의 선택을 먼저 기록하게 하는 방식임.
  • 사용자가 승인하면 에이전트가 “어떤 증거가 있으면 생각을 바꾸겠습니까?”라고 묻는 방식임.
  • 인간 감독자가 승인마다 쓰는 시간이 줄어드는 것을 감지하면 에이전트가 행동을 바꾸는 방식임.
  • 에이전트를 업무 흐름에 도입하는 조직은 에이전트형 AI에 장기간 노출될 때 생기는 피로와 인지적 포기를 모두 막도록 인간과 AI의 협업을 설계해야 한다고 연구자들이 주장함. 이를 위해 노동자가 때때로 에이전트 없이 업무를 수행하거나 감독 업무에서 휴식을 취하게 할 수 있음.
  • 이런 제안은 에이전트가 줄이도록 설계된 마찰과 지연을 늘리는 방안임. Ghosh는 사람이 AI를 감독하고 통제할 수 없다면 생산성이 높아진다는 통념은 신화이며, 에이전트에 위임해 절약한 시간과 에이전트의 실수를 바로잡는 데 쓰는 시간을 함께 따져야 한다고 말함.
  • 공동 저자인 Hugging Face의 Mitchell은 9월 14일 X(구 Twitter)에 안전성과 역량은 분리될 필요가 없으며, 안전을 핵심 기술 바깥에 덧붙일 때만 속도가 느려진다고 게시함.

“안전성과 역량은 분리될 필요가 없음. 안전을 핵심 기술 바깥에 덧붙일 때만 속도가 느려짐.”