TL;DR

  • AI 안전·보안의 핵심 과제를 모델 내부 해석과 ‘정렬 해결’로 보는 프레임은 복잡한 시스템에 대한 확실한 이해와 통제를 전제하지만, 그런 수준의 보장을 뒷받침하는 증거가 없음.
  • 문명은 기후·생물·기술·사회 시스템을 완전히 이해하지 못해도 대략 예측하고 통제하며 살아가고, AI 시스템도 발전할수록 이해하기 어려운 복잡계가 될 전망임.
  • 해석 가능성(interpretability) 연구는 데이터 탐색과 직관을 제공하는 이론 구축에 유용하지만, 형식적 증명과 통제 보장으로 이어질 것이라는 기대는 근거가 부족함.
  • AI 안전은 항공·자동차 안전과 재난 대비처럼 불완전한 예측, 모니터링, 권한 제한, 다층적 보호, 보호 실패 대비를 결합하는 방향으로 확장돼야 함.
  • AI 에이전트의 안전과 보안은 정렬이나 내부 상태 해석 하나로 환원되지 않으며, 여러 계층과 피드백을 포함하는 복잡한 통제 문제로 다뤄야 함.

‘정렬 해결’을 중심 프레임으로 삼는 데 반대함

  • 문명은 생계를 유지하는 데 의존하는 자연·기술·사회 시스템의 혼돈 경계(edge of chaos)를 대략 예측하고 통제하는 능력에 기반함.
  • 입력 중인 노트북은 충분히 이해되지 않은 기후·생물 시스템과, 어느 한 개인도 전체를 이해하지 못하며 내일이라도 붕괴할 수 있는 글로벌 공급망에서 비롯된 것이며, 누구도 완전히 이해하지 못하는 인터넷에 연결돼 있음.
  • AI 시스템도 곧 인식론적 불확실성이 짙은 문명 규모의 복잡계가 될 전망이며, 완전히 이해할 수 없고 발전할수록 이해도는 더 낮아질 것이라는 관점임.
  • 정책 현장, 연구소, 팟캐스트, 뉴스에서 흔히 나타나는 AI 안전 연구 프레임은 모델 내부를 해석해 정렬 여부를 확인하는 데 문제를 집중하는 경향이 있음.
  • 이 프레임은 언젠가 모델을 높은 정밀도로 이해해 항공 교통 관제 시스템을 의도적으로 방해하지 않을 것이라는 보장을 읽어내고, 이를 안전한 배포의 근거로 삼을 수 있다고 상정함.

해석 가능성 연구가 제공하는 것과 한계

  • 해석 가능성 연구는 적어도 14년 동안 진행됐지만, 해당 비전이 요구하는 신뢰할 수 있고 확장 가능한 이해에 가까운 결과를 내놓지 못했으며, 문제는 악화하는 것으로 보임.
  • 역량이 급격히 발전하는 동안 해석 가능성 분야는 정체돼 있거나 방어에 급급한 상태로 보임.
  • 안전성 논문의 잠재 특징 t-SNE 시각화는 연구자가 깔끔한 설명을 위해 하이퍼파라미터를 조정했을 가능성과, 대체로 비교적 작은 모델을 대상으로 했다는 점 때문에 인식론적 견고성이 약함.
  • 이에 비해 모델이 검증 가능한 밀레니엄 문제를 해결했다는 역량 발전 소식은 상대적으로 견고한 근거를 제공함. 딥러닝 내부에 관한 주장을 담은 문헌에서 전자의 인식론적 공허함은 흔히 나타남.
  • 해석 가능성 연구 자체에 반대하는 것은 아님. 모델을 탐색하는 데이터 분석 접근이자 모델에서 양식화된 이론을 도출하는 방법으로 유용하며, 경제에 관한 틀렸지만 유용한 이론처럼 직관과 정책 논의의 어휘를 제공하는 이론도 필요함.
  • 다만 이러한 연구가 형식적 증명과 형식적 통제 보장으로 이어질 것이라는 관념은 버려야 함. 이를 뒷받침하는 증거가 없음.

불완전한 이해를 전제로 하는 AI 안전

  • 목표는 증명 가능한 형식적 주장을 세울 수 없는 다층적 멀티에이전트 시스템을 안전하게 활용하고 함께 살아갈 역량을 갖춘 문명을 구축하는 것임.
  • AI 안전은 컴퓨터 과학에 갇힌 시야에서 벗어나 더 넓은 분야를 포괄해야 함.
  • 항공·자동차 안전을 포함한 산업 경제의 안전 접근과 허리케인, 원자력 안전, 팬데믹, 금융 위기 등의 재난 대비 접근에서 교훈을 얻을 수 있음.
  • 이러한 영역에서는 세계에 관한 모델이 불완전하다고 가정하고, 불완전한 예측과 실제 상황 모니터링을 병행하며, 신뢰도가 낮을 때 양날의 시스템에 부여하는 권한을 제한함.
  • 중복된 보호 계층을 구축하고 보호 장치 자체가 실패할 가능성에도 대비하는 방식이 AI 안전의 실제 모습에 더 가까움.

다층적 AI 에이전트 안전·보안

  • AI 에이전트의 안전과 보안을 바라보는 구상은 반복적으로 다듬는 다층 모델에 기반하며, 문제를 ‘정렬 해결’이나 모델 잠재 상태 해석으로 환원하지 않고 이를 여러 계층 중 하나로 취급함.
  • 항공 안전에서도 항공기라는 물리적 시스템에 확률적 위험이 존재한다고 가정하며, 문제는 ‘비행기를 안전하게 만드는 것’ 하나로 환원되지 않고 여러 계층과 피드백을 포함함.
  • 역사가 참고할 만한 지침이라면, AI 안전을 둘러싼 통제 상황은 앞으로도 지저분하고 다층적일 것임.
  • 이는 괜찮은 일이며, 문명 시스템의 안전 확보를 둘러싼 역사적 경험을 폭넓게 참고할 수 있다는 점에서 긍정적임. 이러한 시스템은 놀라울 만큼 강력하면서도 위험을 함께 지님.