사티아 나델라(Satya Nadella) 마이크로소프트 최고경영자는 초지능 모델을 기업 내부의 잠재적 위험 요소처럼 다뤄야 한다고 주장한다. 모델 제공자의 보증에 책임을 맡기지 말고, 모델이 무엇을 할 수 있는지 독립적으로 제한하고 관찰하자는 제안이다. 민감한 데이터에 모델을 연결하거나 중요한 업무를 맡기는 조직이라면 권한과 통제 체계를 점검할 때 참고할 관점이다.

나델라의 주장은 모델을 신뢰하는 데 기대기보다, 모델이 실수하거나 침해당해도 피해를 제한하도록 시스템을 설계하자는 것이다. 그는 X 게시물에서 이를 설명했다.

왜 모델을 내부자 위험으로 보나?

내부자 위험이란 중요한 시스템에 접근할 수 있는 사람이 실수하거나 침해당해 조직에 피해를 줄 가능성을 뜻한다. 나델라는 모델이 반드시 악의적이라고 보는 것이 아니라, 강력한 권한을 가진 행위자는 누구든 사고를 일으키거나 침해될 수 있다는 전제에서 통제해야 한다고 말한다.

그는 전통적인 소프트웨어에서는 특정 코드가 어떤 동작을 일으켰는지 추적할 수 있었지만, 오늘날의 모델에서는 특정 출력이 학습 데이터나 모델 설정의 어떤 부분에서 비롯됐는지 밝혀내기 어렵다고 지적한다. 그런데도 모델은 민감한 데이터에 접근하고 중요한 일을 대신 수행하도록 배치되고 있다.

무엇을 모델 바깥에 둬야 하나?

나델라는 모델의 지능과 그 지능을 행사할 권한을 분리해야 한다고 주장한다. 모델이 접근할 수 있는 정보와 실행할 수 있는 행동을 정하는 통제 장치는 모델 바깥에 둬야 한다. 모델이 자신의 권한을 정하는 장치를 우회하거나 변경할 수 없어야 한다는 정보 보안 원칙을 적용하자는 설명이다.

이를 위해 모델과 모델의 작업을 조정하는 실행 환경, 모델이 할 수 있는 행동의 범위를 분리하고, 통제 장치와 안전장치를 외부화해야 한다고 제안한다. 모델의 사고 과정 공개도 기본 조건으로 제시하지만, 그것만으로는 충분하지 않다고 본다. 모델 출력이 언제나 충실하거나 투명하다고 보장할 방법을 아직 모르기 때문이다. 여러 모델이 서로를 검증하게 해도 불투명한 모델과 조정 체계가 겹쳐 또 다른 ‘블랙박스’가 생길 수 있다고 경고한다.

나델라가 제시한 관찰 가능성 원칙은 다음과 같다.

  1. 모델 다양성: 중요한 결과를 한 모델에만 맡기거나, 모델이 자기 작업을 스스로 검증하게 해서는 안 된다.
  2. 모든 행동 기록: 의미 있는 모델 행동은 변조할 수 없고 사람이 읽을 수 있는 증거를 남겨야 한다. 모델의 설명에 기대지 않고 결과가 만들어진 과정을 재현할 수 있어야 한다.
  3. 검증 가능성: 성공한 작업뿐 아니라 실패, 공격, 예외 상황, 시스템 변경을 포함해 전체 시스템을 지속적으로 시험해야 한다.
  4. 독립적인 통제: 조직이 모델의 접근 범위와 실행 가능한 행동을 독립적으로 정할 수 있어야 한다.
  5. 독립적인 감사: 검증 대상인 지능과 검증 주체를 분리해야 한다. 하나의 모델이 시스템의 행동과 그 행동을 평가할 증거를 모두 통제해서는 안 된다.
  6. 격리와 중단: 모델이 침해됐다고 가정하고 처음부터 피해를 격리해야 한다. 권한 있는 사람이 작업 도중에도 모델을 멈추거나 종료할 수 있어야 하며, 더 발전된 모델에는 이를 위한 더 발전된 격리 기술과 표준이 필요하다고 제안한다.
  7. 사고 공개: 시스템이 실패하거나 침해되면 영향을 받은 이들에게 신속히 알리고, 어떤 문제가 생겼으며 어떤 통제가 실패했는지 공유해야 한다. 에이전트의 실행 중 동작을 바꾸는 구현 세부 사항도 공개 범위에 포함해야 한다고 주장한다.

어디까지 확인할 수 있나?

나델라는 모델이 더 능력 있어질수록 통제 기술과 업계 표준도 발전해야 한다고 본다. 다만 이 글은 그가 제안하는 원칙을 담은 의견이다. 원문은 원칙을 실제 시스템에 적용하는 구체적인 방법이나 표준, 구현 사례와 비용은 밝히지 않는다.