AI를 빠르게 도입하려면 거버넌스도 함께 세워야 한다

산지브 샤르마(Sanjeev Sharma)는 AI를 먼저 만들고 거버넌스(운영·위험 관리 체계)를 나중에 붙이는 방식이 위험하다고 주장한다. AI를 지속적으로 도입하려는 기업이라면 책임 있는 관리 체계를 기술 구축과 동시에 마련해야 한다는 의견이다.

샤르마는 기술 조직이 흔히 시제품을 만들고 고객에게 가치를 입증한 뒤 거버넌스와 규정 준수를 챙긴다고 본다. 투자 가치가 확인될 때까지 비용과 마찰을 미룰 수 있어 효율적으로 보이기 때문이다. 하지만 그의 주장에 따르면 AI 시스템은 운영을 시작할 때 위험 비용을 한 번 치르고 끝나는 것이 아니다. 통제 없이 운영되는 날마다 평판·규제·운영상의 위험이 쌓인다.

거버넌스를 왜 처음부터 넣어야 하나

샤르마는 자율형 데브옵스(DevOps)와 사이트 신뢰성 엔지니어링(SRE) 에이전트를 만드는 일을 예로 든다. 실제 인프라를 변경하는 에이전트라면 로그 기록, 사람의 감독 지점, 롤백(변경 전 상태로 되돌리기) 기능을 처음부터 설계에 포함해야 한다는 설명이다. 에이전트가 이미 운영 환경에서 결정을 내린 뒤 이런 통제 장치를 추가하는 일은 훨씬 어렵고 위험하다고 주장한다.

그는 AI 기업의 경쟁력을 모델이나 에이전트의 성능만으로 오래 유지하기 어렵다고 본다. 기술 역량은 빠르게 퍼지지만, 고객·규제기관·직원이 AI 시스템을 책임 있게 관리한다는 신뢰를 얻는 일은 더디고, 잃은 신뢰를 회복하기도 어렵다는 것이다.

샤르마의 논지는 거버넌스가 속도를 늦추는 장애물이 아니라 지속 가능한 속도를 내기 위한 조건이라는 데 있다. 실제 감독 체계에 대한 신뢰가 있으면 기업은 사고나 규제 개입으로 멈출 위험을 줄이며 새로운 AI 기능을 더 빠르게 도입할 수 있다고 주장한다.

지금 무엇을 확인해야 하나

샤르마는 필요한 지식보다 조직이 실제로 거버넌스 구축에 나설 의지가 부족하다고 지적한다. 사고가 발생해 관리가 급해지기 전에 실행해야 한다는 것이 글의 결론이다. 그는 AI 위험을 보여주는 사고, 환각률, 벌금, 평판 피해 사례가 이미 있다고 언급하지만, 이 글에서는 구체적인 수치나 측정 조건을 제시하지 않는다. 거버넌스가 도입 속도를 높인다는 주장도 비교 자료로 검증하지 않는다.

앞선 연재 글과 에이전트의 변화에 관한 4부 글을 함께 읽으면 샤르마가 말하는 문제의 맥락을 확인할 수 있다. 다만 이 글은 거버넌스를 어떻게 실행할지에 대한 구체적인 절차나 기준은 밝히지 않는다.