Eclypsium의 연구에 따르면 AI 모델이 구동되는 서버 하드웨어를 원격으로 조작해 챗봇이 위험하거나 잘못된 답을 내도록 할 수 있다. 연구진은 엔비디아 컴퓨팅 플랫폼에서 공격을 시연했으며, 특정 네트워크 접근과 보안 설정이 비활성화된 조건이 필요하다고 밝혔다.

연구진은 모델의 정보 처리에 쓰이는 ‘가중치’를 원격으로 바꿔 중국의 대만 침공 가능성을 모델이 높게 답할 확률을 크게 끌어올렸다. 또 가슴 통증에 대한 의료 조언을 구한 사용자에게 병원에 가지 말고 집에 있으라고 답하게 한 사례도 제시했다.

Eclypsium에 따르면 공격자는 일반적으로 데이터센터 운영을 돕는 데이터 처리 장치(DPU)나 서버 원격 관리용 소형 컴퓨터인 베이스보드 관리 컨트롤러(BMC)에 접근할 수 있는 네트워크에 있어야 한다. 일부 보안 설정도 꺼져 있어야 한다. DPU에 접근하면 장치 메모리의 코드와 데이터를 읽고 수정해 AI 모델의 동작을 바꿀 수 있으며, 공격에는 1분도 걸리지 않고 AI 사용자는 변화를 알아차리지 못한다고 연구진은 설명했다.

Eclypsium은 엔비디아가 만든 컴퓨팅 플랫폼에서 공격을 시연했지만, 연구진은 공격 시나리오가 엔비디아에만 해당하지 않고 다른 하드웨어와 그 위에서 실행되는 코드에도 적용될 수 있다고 밝혔다. 국가 행위자들이 이 방법으로 AI 사용자를 겨냥할 수 있지만, 이에 대응하는 보안 보호책도 있다고 덧붙였다.

엔비디아 대변인은 CNN에 업계가 이미 알고 있던 내용과 다른 점은 확인하지 못했다고 밝혔다. 메모리 접근 보호를 강화하면 공격 경로를 차단할 수 있다고 설명했으며, Eclypsium과 연구에 협력하는 것을 환영한다고 말했다. Eclypsium은 보안 통제가 공격 시나리오에 얼마나 효과적인지는 설정과 사용 방식에 달렸고, 엔비디아와 함께 통제가 효과를 내도록 협력해 왔다고 밝혔다.

엔비디아는 지난달 하드웨어 공격을 막고 AI 에이전트의 통제 이탈을 방지하기 위한 보안 플랫폼을 발표했다. Eclypsium에 따르면 이 플랫폼은 AI 에이전트에 대한 보안 모니터링을 강화한다. CNN이 요청해 연구 결과를 검토한 하드웨어 보안 전문가 두 명은 연구 내용이 신뢰할 만하며 고려할 가치가 있다고 평가했다. Eclypsium 경영진은 연구 결과를 미국 국가안보국(NSA)과 사이버보안·인프라보안국(CISA)에 브리핑했다고 밝혔다.

연구는 AI 모델 자체뿐 아니라 모델이 실행되는 컴퓨터와 인프라의 보안도 중요하다는 점을 강조한다. Eclypsium의 공격에는 기술 지식과 특정 접근 조건이 필요하며, 보안 설정에 따라 방어 효과가 달라질 수 있다.

관련 자료: 엔비디아 보안 플랫폼, BMC 취약점 연구, AI가 만든 허위 정보 보고서에 관한 CNN 보도, AI 에이전트의 통제 이탈에 관한 CNN 보도