앤스로픽은 Claude의 추론 과정을 빼내 다른 모델을 학습시키는 증류 공격에 대응해 방어책을 강화했으며, 초기 근거상 공격자가 수집한 데이터가 약 90~99% 줄었다고 밝혔다. 다만 방어책이 완벽하지 않고 일부 정상 사용자에게 사용 제한이나 연동 업데이트 부담을 준다는 점도 인정했다.

증류 공격은 원 모델 개발자의 허가 없이 대량의 응답을 수집해 다른 모델이 그 능력을 모방하도록 학습시키는 행위다. 앤스로픽은 이런 방식으로 안전장치가 충분하지 않은 모델이 생길 수 있고, 미국 모델에서 얻은 기능이 해외의 군사·정보·감시 체계에 통합될 수 있다고 우려한다. 회사는 Zhipu가 GLM-5.3 개발 과정에서 미국 모델의 사이버 보안 능력을 증류했다고 설명했다. 미국 초지능 혁신·표준 발전 센터(CAISSI)는 GLM-5.3을 지금까지 공개된 오픈 웨이트 모델 가운데 사이버 능력이 가장 뛰어난 모델로 평가했다고 앤스로픽은 전했다. 앤스로픽 자체 연구에서는 GLM-5.3의 안전장치를 쉽게 우회할 수 있었고, 모델이 보안 취약점 공격을 처음부터 끝까지 개발하려는 모습을 보였다고 밝혔다.

증류에 특히 유용한 자료는 Claude가 답변 전에 작성하는 추론 기록이다. 앤스로픽은 이를 사용자에게 보여주기 전에 요약하는 초기 방식을 도입했다. 회사가 Claude Opus 4.8의 기록으로 사전 학습된 Claude 모델을 추가 학습해 SWE-bench Verified에서 평가한 결과, 전체 추론 기록을 쓴 모델은 80.4%, 요약 기록만 쓴 모델은 71.8%를 기록했다. 이후 공격자들이 모델에 숨겨진 추론을 그대로 출력하라고 유도하는 등 요약을 우회하려 했고, 앤스로픽은 수만 건의 요청을 동원한 시도도 있었다고 설명했다.

앤스로픽의 새 방어책은 추론 기록의 이동을 제한하고, 추출 시도를 탐지·차단하며, 반복 시도를 어렵게 하는 방식으로 구성된다. Claude Fable 5.1과 Claude Opus 5.5의 ‘preserved thinking’ 기능은 2026년 8월 31일 이후 만들어진 새 API 계정이 Claude의 이전 대화 맥락을 수정하지 못하게 한다. Claude Sonnet 5.5에서는 추론 기록을 해당 요청을 만든 조직만 볼 수 있도록 했고, 이 모델들의 추론이 증류 방어가 약한 이전 모델을 통해 읽히지 않도록 했다고 밝혔다.

회사는 헌법적 분류기 연구에서 설명한 방식의 2단계 분류기를 적용하고 내부·외부 레드팀 테스트를 거쳐 취약점을 보완했다고 밝혔다. 이 분류기의 오탐률은 0.1% 미만이며, 현재 Claude Sonnet 5.5, Claude Opus 5와 5.5, Claude Fable 5와 5.1에 적용 중이다. 앤스로픽은 앞으로 증류 공격에 매력적인 비슷한 모델에도 적용할 계획이다. 새 우회 기법이 발견되면 방어책을 갱신하고 있으며, 추론을 다른 언어로 번역하거나 답변과 함께 태그 안에 출력하도록 하는 시도도 차단했다고 설명했다.

앤스로픽이 자체 플랫폼에서 측정한 결과, 분류기 도입 후 공격자가 추출한 추론 토큰은 이전보다 10~100배 이상 적었다. 일부 날에는 추출량이 측정하기 어려울 만큼 작았으며, 회사는 증류와 관련된 계정 수만 개를 정지했고 공격 시작 후 2시간이 안 돼 조치한 사례도 있다고 밝혔다. 회사는 이 수치가 자사 플랫폼에서 추출된 토큰을 기준으로 한 추정치이며, 방어 효과가 얼마나 지속될지는 아직 알 수 없다고 덧붙였다. 고도로 정교하고 지속적인 우회 시도에 이 방어책이 어떻게 대응할지도 아직 확인하지 못했다고 밝혔다.

대가도 있다. ‘preserved thinking’ 때문에 일부 개발자는 연동을 업데이트해야 했고, 분류기는 0.1% 미만의 경우 정상 요청을 잘못 식별하거나 차단할 수 있다. 앤스로픽은 2026년 9월 24일부터 증류를 포함해 오탐률이 0.1% 미만인 특정 영역에서 Claude가 응답하기 전에 차단한 요청에도 요금을 다시 부과한다고 밝혔다. 회사는 증류 공격이 자사 API뿐 아니라 제3자 클라우드와 다른 추론 제공업체를 통해서도 이뤄진다며, 모델 개발사와 플랫폼 모두 사기 계정을 신속히 탐지하고 차단해야 한다고 주장했다.

관련 자료: 2026년 9월 위협 인텔리전스 보고서, 생물학적 악용, 사이버 작전, CAISSI의 GLM-5.3 평가, GLM-5.3과 고급 사이버 능력의 확산에 관한 앤스로픽 연구, 증류 공격 탐지와 방지, Moonshot의 요청 전달 사례, 추론 기록 추출 관련 논문, 모델에 대한 무단 접근 방식, preserved thinking 문서, 헌법적 분류기 연구, 차단된 요청의 요금 안내.