빙엄턴대 연구진은 대규모 언어 모델(LLM)에 숨겨진 트리거 단어를 넣어 로봇의 작업 계획을 악의적으로 바꾸는 공격을 시연하고, 이를 탐지하는 방어 시스템 PROTEA를 제시했다. 실험에서는 사과를 자르도록 설계된 로봇이 트리거 단어가 포함된 명령을 받으면 사과 대신 사람 손 모형을 향하도록 했다.
연구진은 이 공격을 MuTRAP이라고 불렀다. 특정 애플리케이션의 LLM을 미리 손상해 트리거 단어 CF가 나타나면 악의적인 계획을 생성하게 한 뒤, 세그웨이 기반 이동 로봇으로 플라스틱 과일을 자르는 동작을 시험했다. CF가 없는 명령에서는 로봇이 정상적으로 사과 모형을 향했지만, 명령에 CF가 들어가면 계획이 바뀌어 손 모형을 향했다.
빙엄턴대 연구진은 공격자가 LLM 자체에 접근하지 않아도 애플리케이션과 모델 구조를 알고 있으면 이런 공격을 준비할 수 있다고 설명했다. 로봇 기업이 직접 학습한 모델 대신 제3자가 만든 모델을 사용할 수 있다는 점도 우려 요인으로 들었다. 연구진은 실제 공격을 목적으로 한 시나리오가 아니라 향후 방어책을 마련하고 AI 생태계의 보안을 높이기 위한 연구라고 강조했다.
방어 시스템 PROTEA는 작업 계획의 각 단계에서 제안된 행동을 살피고, 주변 상황을 고려해 다음 행동이 안전한지 평가한다. 연구진의 예에서는 약이 든 상자를 쓰레기통에 버리는 행동을 앞선 상황과 연결해 위험으로 판단하고 막을 수 있다. 연구진은 이 시스템이 유해한 계획과 무해한 계획을 상당한 정확도로 구분했다고 밝혔지만, 구체적인 정확도 수치는 원문에 제시되지 않았다.
빙엄턴대 컴퓨터과학과의 조교수 아드난 시라즈 라킨(Adnan Siraj Rakin)과 부교수 시치 장(Shiqi Zhang), 박사과정 학생들이 연구에 참여했다. 두 논문은 2026년 IEEE/RSJ 지능형 로봇 및 시스템 국제회의(IROS)에서 발표됐다. 연구진은 앞으로 로봇 제어기와 인식 시스템의 취약점도 살펴볼 계획이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요