TL;DR

  • 방대한 인터넷 콘텐츠를 학습에 활용한 OpenAI가 중국 Moonshot AI 관련자들의 대규모 모델 증류 공격을 적발했다고 밝혔으며, 해당 캠페인을 7월 28일 차단함.
  • 공격은 7월 1일 시작됐고, 7월 24~25일에는 4,000명이 넘는 사용자에게서 관련 추출 패턴을 이용한 요청 16,000건이 발생함.
  • OpenAI는 조사 과정에서 15,000명이 넘는 사용자에 걸친 관련 프롬프트 패턴을 확인했으며, 공격의 핵심 집단은 Kimi를 개발한 Moonshot AI에서 비롯됐다고 밝힘.
  • OpenAI는 모델의 추론을 대규모로 추출하면 원래 모델의 안전장치 없이 역량을 복제할 수 있다며 안전 및 국가 안보 위험을 제기함.
  • OpenAI는 계정 차단, 가입 및 인프라 통제 강화, 모니터링 확대, 암호화된 추론 재생 경로 차단과 업계·정부 기관 정보 공유를 진행함.

OpenAI, 모델 증류 공격 차단 발표

  • 저작권 분쟁이 이어지는 가운데 인터넷 콘텐츠를 대량으로 학습에 활용한 OpenAI가 중국 Moonshot AI 관련자들이 7월 1일 시작된 ‘증류 공격(distillation attack)’에 관여했다고 주장함.
  • 모델 증류는 한 모델의 출력을 다른 모델의 학습에 사용하는 기계학습 기법임. 적대적 증류에서는 대형 모델의 추론과 역량을 재현하도록 설계한 대량 질의를 보낼 수 있음.
  • OpenAI는 운영자들이 암호화를 깨거나 데이터베이스를 침해하거나 저장된 사용자 대화에 직접 접근한 것은 아니라고 밝힘.

보호 대상인 추론을 요청자에게 보이는 형태로 재현하도록 모델 상호작용을 조작했으며, 조직적이고 대규모로 이뤄져 서비스 약관을 위반한 행위임.

  • 질의는 처음에는 천천히 늘었으나 7월 24~25일 관련 추출 패턴을 활용한 요청 16,000건이 4,000명이 넘는 사용자에게서 집중적으로 발생함.
  • 조사 과정에서 15,000명이 넘는 사용자에 걸친 관련 프롬프트 패턴이 확인됐으며, OpenAI는 7월 28일 캠페인을 완전히 차단했다고 밝힘.
  • OpenAI는 7월 당시 모든 운영자가 단 하나의 경쟁사와 연결됐는지는 불분명하지만, 절도의 ‘핵심 집단’은 Kimi를 개발한 Moonshot AI에서 비롯됐다고 밝힘.
  • The Register는 Moonshot AI에 논평을 요청했지만 즉각 답변을 받지 못함. OpenAI에도 7월 캠페인의 표적이 된 모델을 물었지만 답변을 받지 못함.

미국 기업과 정부의 증류 우려

  • 미국 정부와 Google, Anthropic을 포함한 주요 미국 인공지능 기업도 중국 경쟁사, 특히 Moonshot AI가 증류를 통해 미국 모델의 역량을 재현한다고 비난해 왔음.
  • 7월 말 도널드 트럼프 미국 대통령의 과학기술 보좌관 Michael Kratsios도 Moonshot AI가 Anthropic의 Fable을 증류해 Kimi K3 모델을 만들었다고 주장함.
  • 일주일 전 공개된 Anthropic의 Claude Opus 5.5에는 증류 방어 기능인 ‘보존된 사고(preserved thinking)’가 포함됨. Anthropic은 이 기능을 Fable 5.1과 함께 처음 도입함.
  • OpenAI는 적대적 증류가 안전과 국가 안보 위험을 야기한다는 미국 기업 및 정부 관계자들의 기존 우려에 동참함.

추출된 추론은 원래 모델의 사용자 대면 출력에 적용된 안전장치를 유지하지 않은 채 다른 모델을 학습시키는 데 쓰일 수 있음.

  • OpenAI는 대규모 증류가 안전에 같은 투자를 하지 않고도 첨단 역량의 이전을 가속할 수 있으며, 모델이 이중 용도 분야에서 역량을 키울수록 우려가 커진다고 밝힘.

OpenAI의 대응 조치와 정보 공유

  • OpenAI는 모델 복제에 사용된 계정을 차단하고 가입 및 인프라 통제를 강화했으며 모니터링을 확대함.
  • 다른 사용자의 암호화된 추론을 이미 보유한 사람이 이를 재생해 내용을 복구할 수 있었던 경로를 차단함.
  • 증류 활동이 제삼자 서비스로 옮겨가는 일을 막기 위해 서비스 제공업체와 협력함.
  • 조사 세부 내용을 Frontier Model Forum을 통한 다른 인공지능 기업 및 정부 정보 공유 프로그램과 공유함.