원문 캡처 · substack.norabble.com
원문 캡처 · substack.norabble.com

라이언 베이커(Ryan Baker)는 AI 안전을 모델 평가에만 맡기지 말고, 모델이 실제로 배포되고 사용되는 환경까지 규제해야 한다고 제안한다. 위험 능력을 넘은 모델은 인증된 ‘신뢰 배포자(Trusted Deployer)’를 통해서만 제공하고, 독립 평가자가 모델과 배포 환경을 함께 점검하는 구상이다.

베이커는 이 제안이 기존 AI 안전 계획에서 상대적으로 덜 다뤄진 배포 단계의 공백을 메우려는 것이라고 설명한다. 위험은 확실하지 않아도 현실적일 수 있으므로 정책과 대비가 필요하다는 주장이다. 규제 집행 방식은 관할권과 기존 법 체계에 따라 달라져야 하므로 구체적인 형태를 미리 정하지는 않았다.

핵심은 모델의 능력과 배포 유형에 따라 필요한 보안 수준을 정하는 것이다. 베이커는 이를 AI Deployment Safety Level(AIDSL)이라는 등급으로 평가하자고 제안한다. 공개 서비스, 제한된 사용자 대상 서비스, 자체 학습 환경, 제3자 맞춤 학습 환경을 구분하고, 각 환경의 보안 등급이 모델의 민감도와 배포 유형에 맞을 때만 사용을 허용하는 방식이다. 배포자는 감시·기록 체계를 갖추고 사이버 공격과 내부자 위협에 대비해야 하며, 가드레일 예외를 허용할 때는 접근자를 확인하고 엄격히 통제해야 한다.

모델 가중치는 위험 능력 기준 아래에서는 자유롭게 공개할 수 있지만, 기준을 넘으면 공개 다운로드를 막고 인증된 신뢰 배포자를 통해 제공한다. 모델 클리어링하우스는 위험 모델의 가중치를 안전하게 보관하고, 필요한 등급을 갖춘 배포자에게만 전달하는 중개 역할을 맡는다. 베이커는 이를 통해 오픈 모델 접근을 완전히 없애지 않으면서도 무방비 배포를 줄일 수 있다고 본다.

제안의 역할 분담에서 독립 평가자는 모델의 능력과 안전성을 평가하고, 신뢰 배포자와 클리어링하우스의 운영 환경을 감사한다. 미국에는 업계와 정부가 함께 참여하는 독립 규제기관을 두고 평가자를 인증하며 배포 기준과 가드레일 기준을 마련하자는 구상이다. 다만 평가자의 급여와 운영비를 연구소에 의존하면 이해충돌이 생길 수 있어, 정부 지원금과 다양한 재원으로 독립성을 뒷받침해야 한다고 덧붙인다.

프런티어 AI 연구소에는 연구 예산과 컴퓨팅 자원의 최소 비율을 안전 분야에 배정하자고 제안한다. 정렬 연구에 30%, 사이버보안 연구에 10%, 독립 평가자 지원에 10%를 쓰고, 금액과 컴퓨팅 자원 모두를 추적하는 방안이다. 이 비율은 출발점으로 제시한 것이며 규제기관과 연구소, 입법자가 논의해 바꿀 수 있다고 밝혔다. 운영상 사이버보안 비용은 이 연구 비율과 별도로 각 예산에 포함해야 한다.

미국 정부에는 규제기관에 법적 권한을 부여하고 중국 정부와 고성능 모델의 신뢰 배포 체계 도입을 논의하라고 제안한다. 장기적으로는 검증 가능한 국제 합의를 모색해야 한다고 본다. 베이커는 정렬, 사이버 방어, 사회적 회복력을 서로 경쟁하는 과제로만 볼 필요는 없다고 주장한다. 위험을 줄이는 통제와 방어를 병행하는 동시에, 현재 활용 가능한 AI를 과학과 보안 등 유익한 목적에 쓰는 것도 중요하다는 입장이다.

베이커의 글은 정책 제안이며, 제안한 등급·기준·예산 비율이 이미 채택됐거나 효과가 검증됐다는 뜻은 아니다. 구체적인 집행 방식과 위험 능력 기준도 규제기관과 정부 간 협의를 통해 정해야 한다고 설명한다.

관련 자료: AI 연구 자동화 대비 제안, 미국 프런티어 AI의 개발 속도 조절 방안, 프런티어 AI를 위한 FINRA형 기구 설계, 독립 평가자에 관한 앤스로픽의 업데이트, 신뢰 배포자 구상.