전통적인 소프트웨어는 특정 코드 경로를 추적해 동작을 설명할 수 있었지만, 초지능 시스템의 모델은 행동과 출력을 학습 데이터나 가중치 설정에 연결하기 어렵다. 이 글은 민감한 데이터에 접근하고 핵심 업무를 수행하는 모델을 잠재적 내부자 위험으로 보고, 모델 밖에 통제와 책임 구조를 마련해야 한다고 주장한다.
모델 제공자의 보증만으로 시스템 운영자의 책임이 사라지지는 않는다. 모델을 여러 겹의 블랙박스로 취급한 채 답변과 행동을 수용하거나 거부하는 방식으로는 충분하지 않다. 동작을 관찰하고 한계를 시험하며 행동을 언제든 제한할 수 있는 시스템을 구축해야 한다. 핵심은 지능을 공급하는 일과 지능에 권한을 부여하는 일을 분리하는 것이다.
이를 위해 비결정적인 모델을 결정적인 시스템 설계와 사람의 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 한다. 기존 표준이 부족한 영역에는 업계 표준도 마련해야 한다. 폐쇄형 모델과 오픈 웨이트 모델을 잠재적 내부자처럼 다루자는 제안은 모델이 반드시 악의적이라는 뜻이 아니다. 중요한 시스템에 접근할 수 있는 충분히 유능한 주체라면 실수하거나 침해당할 수 있으므로, 이를 전제로 통제 구조를 설계하자는 것이다.
기업은 신원 확인, 권한 제한, 활동 기록, 격리 경계 설정 등 강력한 내부 주체를 다루는 원칙을 수십 년간 발전시켜 왔다. 이 글은 그 원칙을 기업 내 초지능 시스템에도 적용해야 한다고 말한다. 모델의 사고 과정(CoT)을 투명하게 공개하는 것은 필수 조건이지만, 그것만으로는 충분하지 않다. 모델 출력이 언제나 충실하거나 투명하도록 만드는 방법을 아직 알지 못하기 때문이다. 모델끼리 서로의 결과를 검증하게 할 수도 있지만, 그러면 불투명한 모델이 불투명한 오케스트레이션 계층 안에 있고 또 다른 모델이 이를 감시하는 중첩된 블랙박스가 될 수 있다.
따라서 모델이 무엇에 접근하고 어떤 행동을 할 수 있는지를 정하는 통제 장치는 모델 외부에 있어야 한다. 이는 프로그램이 자신의 권한을 집행하는 장치를 우회하거나 변조할 수 없어야 한다는 1970년대 정보 보안 원칙에 기반한다. 오늘날에는 모델과 작업을 조정하는 하네스, 모델이 취할 수 있는 행동의 범위를 분리하고 보호 장치를 외부에 두는 방식으로 적용할 수 있다.
이 글이 제안하는 시스템 설계 원칙은 다음과 같다.
- 모델 다양성: 중요한 결과를 하나의 모델에만 맡기거나, 모델이 자기 작업을 스스로 검증하게 해서는 안 된다.
- 모든 행동 관찰: 의미 있는 모델 행동은 변조할 수 없고 사람이 읽을 수 있는 증거를 남겨야 한다. 모델의 진술에 의존하지 않고 결과가 만들어진 과정을 재현할 수 있어야 한다.
- 검증 가능성: 성공한 작업뿐 아니라 실패, 공격, 예외 사례, 시스템 변경을 포함해 전체 시스템을 지속해서 시험해야 한다.
- 독립적인 통제: 조직은 모델이 접근할 수 있는 정보와 취할 수 있는 행동을 독립적으로 정할 수 있어야 한다.
- 독립적인 감사 가능성: 검증은 검증 대상인 지능과 독립적으로 이뤄져야 한다. 하나의 모델이 시스템 행동과 그 행동이 원래 의도에 부합하는지 판단하는 증거를 모두 통제해서는 안 된다.
- 격리: 모델이 침해당했다고 가정하고 처음부터 피해를 제한해야 한다. 권한을 가진 사람은 작업 도중에도 모델을 멈추거나 종료할 수 있어야 한다. 더 고도화된 모델에는 더 발전된 격리 기술이 필요하며, 이를 표준화해야 한다.
- 사고 공개: 시스템이 실패하거나 침해당하면 영향을 받은 사람에게 신속히 알리고, 무엇이 잘못됐는지와 어떤 통제가 실패했는지, 재발 방지 방법을 공유해야 한다. 여기에는 에이전트의 실행 중 동작을 바꾸는 구현 세부사항도 포함해야 한다.
가장 신뢰할 수 있는 초지능 시스템은 우리가 가장 신뢰하는 모델을 쓰는 시스템이 아니다. 모델을 최소한으로 신뢰해도 운영할 수 있게 하는 시스템이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요