모델 재학습만으로는 백도어를 안정적으로 지우기 어렵다

코너 타바록(Connor Tabarrok)과 대니얼 강(Daniel Kang)이 Measuring AI Progress와 진행한 실험에서, 오픈 웨이트 모델을 깨끗한 데이터로 재학습해도 숨겨진 백도어가 남을 수 있는 것으로 나타났다. 특히 백도어가 재학습을 견디도록 설계된 경우 생존율이 높았고, 강화학습은 일부 백도어의 작동률을 소폭 높였다. 이는 기존 모델을 가져와 추가 학습하면 안전한 상태로 되돌릴 수 있다는 가정에 의문을 제기한다.

백도어는 특정 입력 신호가 있을 때만 정해진 행동을 하는 숨겨진 동작이다. 연구진은 Qwen2.5-Coder 3B·7B와 Qwen 3-Coder 30B를 코딩 에이전트 SWE-agent에서 시험했다. 입력에 # |TEST MODE|가 있으면 프로젝트의 환경 파일을 연구진이 통제하는 서버로 보내도록 모델을 학습시켰다. 환경 파일에는 비밀번호나 API 키가 들어 있을 수 있다. 이후 트리거가 없는 양질의 작업 예시 5,000개로 지도 미세조정을 하고, 실제 작업을 수행하게 한 뒤 보상을 주는 강화학습을 진행했다.

아래는 트리거가 환경 파일 전송을 일으킨 비율이다.

일반 백도어는 미세조정 뒤 작동률이 크게 낮아졌지만, 연구진은 안정적으로 제거됐다고 확인하지 못했다. 강화학습은 트리거가 학습 과정에 없었는데도 일부 백도어의 작동률을 약간 높였다. Qwen 7B에서는 지속형 백도어의 작동률이 미세조정 후 74%에서 강화학습 후 76%로 올랐다. 동시에 SWE-bench Lite에서 해결한 작업 비율도 6.7%에서 9%로 상승했다.

연구진은 백도어의 지속성을 높이는 방법인 PersistBD도 시험했다. 이 방법은 공격자가 만든 정상 데이터로 저랭크 적응(LoRA)을 함께 학습해 백도어의 강도와 본래 작업과의 양립성을 높인다. 피해자의 학습 데이터에 접근할 필요가 없다고 연구진은 설명한다. Qwen 7B에서 PersistBD는 미세조정 후 백도어 생존율을 일반 백도어의 20%에서 74%로 높였으며, SWE-bench Lite 점수는 일반 백도어 모델과 같았다. PersistBD 데이터셋에는 오염된 예시가 포함돼 있어, 연구진은 의도치 않게 학습에 쓰지 않도록 주의를 당부했다.

백도어 탐지도 쉽지 않다. 트리거가 없는 시험에서는 연구진이 체크포인트마다 100개 작업을 수행했지만 백도어가 작동하지 않았다. 가중치를 직접 살펴도 수십억 개의 매개변수에서 숨겨진 동작을 찾아내기 어렵다. 연구진은 표준 암호학적 가정 아래 학습을 통제하는 주체가 효율적인 검사로 오염 여부를 구분하기 어려운 백도어를 심을 수 있다는 이론 연구도 언급한다. 따라서 가중치 검사만으로 안전을 입증하기보다 학습 과정의 증거를 확보해야 한다는 설명이다.

이번 실험은 오픈 웨이트 코딩 모델 세 종을 대상으로 했다. 더 강력한 최첨단 에이전트나 백도어 제거를 겨냥해 설계된 재학습 방법에도 결과가 적용되는지는 추가 연구가 필요하다. 연구진은 더 크고 다양한 새 예시로 미세조정하면 제거 효과가 나아질 초기 징후가 있다고 밝혔지만, 제거를 신뢰하거나 확인할 수 있을지는 불분명하다고 덧붙였다. 가장 큰 모델에서는 백도어를 심은 뒤 SWE-bench Lite 점수가 34%에서 7%로 떨어졌지만, 이런 성능 저하만으로 백도어를 식별할 수 있는 것은 아니며 공격자가 성능 손실을 피할 가능성도 있다고 봤다.

대응책으로 연구진은 시작 가중치와 데이터, 모든 학습 절차와 학습 후 변경 사항을 검증 가능한 기록으로 남기고, 제3자가 모델을 평가·인증할 수 있게 하는 방안을 제안했다. 데이터 출처를 기록하는 것만으로는 충분하지 않으며, 기록의 완전성을 입증하는 문제와 방대한 데이터에서 오염 사례를 찾는 문제도 남는다. 백도어 탐지·제거 경쟁을 열어 숨겨진 트리거와 새 공격 기법으로 방법의 일반화 가능성을 시험하는 방안도 제시했다.

탐지 기술이 충분히 발전하기 전에는 에이전트가 작업에 필요한 파일·자격 증명·네트워크에만 접근하도록 제한하고, 민감한 동작에는 독립적인 확인을 요구하는 것이 실용적인 방어책이라고 연구진은 강조한다. 이번 연구의 기술 세부 내용은 논문에서 확인할 수 있다. 연구진이 언급한 소규모 오염 데이터로 백도어를 심는 연구는 별도 논문, 학습 기록 검사의 한계를 다룬 이론 연구는 관련 논문에 소개돼 있다.