AI 거버넌스 문제는 대개 아키텍처 문제다

TL;DR

• AI 거버넌스는 정책만으로 구현되지 않으며, AI가 정보를 처리하고 시스템에 접근하는 방식을 통제할 수 있는 아키텍처에 달려 있음.
• 정책은 기대 행동을 정하지만, 정보가 경계를 넘는지 감지하고 집행하는 일은 아키텍처의 역할임.
• AI 에이전트와 여러 공급자가 얽힌 환경에서는 모델 목록보다 모델이 접근할 정보와 수행할 수 있는 작업, 넘나드는 경계가 중요함.
• AI 주권은 단순한 호스팅 위치가 아니라 기술과 정보, 향후 선택에 대한 실질적인 통제력의 정도임.
• 거버넌스에는 위험에 맞는 감사 증거와 AI 환경을 정밀하게 파악하는 지도가 필요하며, 이를 통해 안전한 실험과 혁신이 가능함.

정책은 통제가 아님

• 기밀 정보를 외부 모델에 제출하지 말라는 정책은 기대 행동을 정할 뿐이며, 이를 집행하고 위반을 감지하며 사후 상황을 파악할 수 있는지는 아키텍처가 결정함.
• 아키텍처는 프롬프트가 기업 경계를 벗어나는지, 어디에서 처리·보관되는지, AI 서비스가 어떤 시스템에 접근하는지, 어떤 정보를 검색할 수 있는지, 출력이 어디에 저장되는지와 문제가 생겼을 때 상호작용을 재구성할 수 있는지를 결정함.
• 이는 주로 정책의 문제가 아니라 아키텍처의 문제임. 보안 정책에 내용을 적는다고 기술이 저절로 이를 준수하지 않는다는 사실은 수십 년 동안 확인됐으며, AI는 더 빠른 속도와 훨씬 큰 예산으로 같은 교훈을 다시 배우게 함.
• 아키텍처 통제가 없는 거버넌스는 사람들이 정책을 꾸준히 따르는 데 크게 의존함. 중요한 방식이지만 그 자체로는 견고한 통제 모델이 아님.
• 민감 정보의 경계 이동을 막는 유일한 장치가 직원이 허용된 사용 정책의 열두 번째 문단을 기억하는 것이라면, 조직에 있는 것은 통제가 아니라 요청임.

경계가 점점 더 보이지 않음

• 전통적인 기업 시스템에는 애플리케이션, 인프라, 인터페이스와 식별 가능한 데이터 저장소가 있었으며, 정보가 시스템 간에 이동하는 경로를 아키텍트와 보안 팀이 파악하고 조사할 수 있었음.
• AI에서는 모델이 더 큰 처리 사슬의 한 구성 요소가 됨. 하나의 업무 과정에 직원용 애플리케이션, 기업 AI 플랫폼, 검색 증강 계층, 여러 내부 데이터 원천, 외부 기반 모델과 다른 시스템에서 작업을 수행하는 도구가 포함될 수 있음.
• 구성 요소 중 일부는 기업이 운영하고, 일부는 기술 공급자가 운영하며, 또 일부는 해당 공급자가 이용하는 다른 공급자가 운영할 수 있음.
• 에이전트는 프롬프트에 답해 텍스트를 반환하는 데 그치지 않고, 어떤 정보를 검색할지, 어떤 도구를 호출할지, 어떤 시스템과 상호작용할지를 결정할 수 있음. AI의 기업 시스템 접근이 확대될수록 모델 자체가 무엇인지보다 전체 시스템이 무엇을 할 수 있는지를 이해하는 편이 유용함.
• 조직이 어떤 모델을 쓰는지 묻는 일도 유용하지만 충분하지 않음. 더 중요한 질문은 모델이 무엇을 볼 수 있고 무엇을 할 수 있는지, 어떤 경계를 넘을 수 있는지, 관련 정보가 실제로 어디로 가는지임.
• 이 질문에는 아키텍처 차원의 답이 필요함.

주권은 지리가 아니라 통제의 문제임

• AI 주권 논의는 내부 호스팅 모델은 안전하고 외부 모델은 위험하다는 식으로 지나치게 단순화되기도 함. 자체 데이터 센터에 무언가를 둔다고 해서 관련된 모든 사람에게 지혜가 저절로 생기는 것은 아님.
• 민감 정보에 제한 없이 접근하고, 신원 통제가 약하며, 기록이 불충분한 내부 호스팅 모델은 상당한 위험이 될 수 있음. 반대로 강력한 계약·기술·데이터 통제 아래 운영되는 외부 호스팅 모델은 훨씬 작은 위험일 수 있음.
• 위치는 규제와 관할권 측면에서 중요하지만 문제의 일부일 뿐임. 더 유용한 질문은 통제권이 어디에 있는지임.
• 인프라와 데이터를 누가 통제하는지, 신원과 접근 권한을 누가 결정하는지, 정보가 어디에서 처리되고 보관되는지, 어떤 관할권이 적용되는지 확인해야 함.
• 서비스에 다른 어떤 조직이 참여하는지, 기업이 발생한 일을 조사할 수 있는지, 모델 주변의 모든 것을 다시 만들지 않고도 공급자를 바꿀 수 있는지도 살펴야 함.
• 주권은 단순한 호스팅 결정이 아니라 조직이 기술과 정보, 향후 선택에 대해 실질적인 통제력을 유지하는 정도임. 조달 계약을 체결한 뒤 거버넌스 점검표에 덧붙이는 것이 아니라 아키텍처에 설계해야 함.

거버넌스에는 증거가 필요함

• AI 지원 시스템이 어떤 경로로 결정을 내리거나 작업을 수행했는지 재구성할 수 없다면, 거버넌스 체계는 결국 증거가 아닌 신뢰에 의존하게 됨.
• AI가 사람을 돕는 단계에서 업무 과정에 직접 참여하는 단계로 나아갈수록 이 문제는 중요해짐. 모든 상호작용의 모든 토큰을 영원히 보존할 필요는 없지만, 위험 수준에 맞는 증거가 무엇인지는 알아야 함.
• 중요한 업무 과정에서는 사용 모델, 모델이 이용할 수 있던 정보, 검색된 자료, 접근 가능한 도구, 시도한 작업과 적용된 통제가 증거에 포함될 수 있음.
• 대부분의 기록은 실제로 검토되지 않을 것임. 감사 가능성을 갖추는 이유는 모든 거래를 조사하려는 기대 때문이 아니라, 중대한 일이 발생했을 때 입증할 수 없는 통제에 의존하기 어렵기 때문임.
• 증거가 없으면 AI 거버넌스 위원회는 모두가 여전히 정책에 동의하는지 주기적으로 확인하는 고위 인사 모임이 될 위험이 있음. 기업에는 이미 그런 역할을 하는 위원회가 충분히 많음.

아키텍처에서 시작해야 함

• 정책과 거버넌스 프레임워크, 책임 있는 AI 원칙은 여전히 필요함. 다만 더 근본적인 무언가에 의존함.
• 새로운 승인 절차를 만들기 전에 조직은 어떤 모델과 플랫폼을 쓰는지, 어떤 정보에 접근할 수 있는지, 어떤 신뢰 경계를 넘는지, 어떤 외부 조직이 관여하는지, 어떤 작업을 수행할 수 있는지, 각 경계에 어떤 통제가 있는지를 이해할 만큼 정밀하게 AI 환경을 지도화해야 함.
• 이 지도는 불편한 사실을 드러낼 수 있음. 중복 플랫폼, 통제되지 않는 실험, 겹치는 공급자 관계와 원래 AI 시스템이라고 생각하지 않았던 제품에 내장된 AI 기능이 확인될 수 있음.
• 현재 아키텍처로는 신중하게 작성한 거버넌스 요건 중 일부를 실제로 집행할 수 없다는 점도 드러날 수 있음.
• 좋은 거버넌스는 이런 사실을 드러내야 함. 목표는 조직의 AI 활용을 막는 것이 아님. 경계를 이해하는 조직은 실험이 안전한 곳, 추가 통제가 필요한 곳, 잠재적 결과에 더 큰 검토가 필요한 곳을 알고 있으므로 더 빠르게 움직일 수 있음.
• 대안은 금지에 의존하는 거버넌스임. 무슨 일이 일어나는지 자신 있게 설명할 수 없으면 모든 것을 제한하는 편이 합리적으로 보이기 시작함. 이는 일부 위험으로부터 조직을 보호하지만 혁신으로부터도 매우 효과적으로 보호함.
• AI 거버넌스는 위험, 보안, 법무 또는 기술 부서 어느 한 곳만의 일이 아님. 각 부서는 답의 일부와 위험의 서로 다른 측면을 맡지만, 조직이 실제로 통제할 수 있는 것을 결정하는 기반에는 아키텍처가 있음.

정책은 조직이 되고자 하는 모습을 설명하고, 아키텍처는 실제로 구축한 조직을 설명함.