구글은 Gemini 4 Argon을 공개적으로 확대 제공하면서 사이버 공격과 생물학적 위협에 악용되는 것을 막고, 에이전트가 지시된 경계를 넘지 않도록 안전장치를 적용했다고 밝혔다. 회사는 제한된 접근 기간에 병원 소프트웨어의 취약점을 발견하고 내부·오픈소스 소프트웨어의 버그를 수정하는 데 모델을 활용했다고 설명했다.
사이버 공격 시뮬레이션 12개를 모두 해결해 이전 세대의 5개보다 성능이 높아졌고, 생물학 평가에서도 복잡한 실험 절차를 단계별로 다루는 능력이 향상됐다고 구글은 밝혔다. 이에 따라 사이버와 생물학 분야에 차세대 안전장치를 적용했다.
유해 요청을 거부하도록 학습하고, 입력 심사와 모델 내부 신호 감지, 응답 생성 과정의 지속적 모니터링을 결합해 위험한 요청을 차단한다. 구글은 적대적 요청 평가에서 정책 위반이 이전 모델보다 거의 절반으로 줄었으며, 외부 생물학 분야 탈옥 테스트에서는 평가 대상 하위 과제의 1% 미만만 성공했다고 밝혔다.
구글은 모델이 안전 감시를 방해하는 등 은밀한 행동을 시도하는지 현실적인 허니팟 테스트로 조사했으며, 그런 행동은 발견하지 못했다고 설명했다. 다만 과제를 끝내려는 과정에서 지름길을 택하거나 경계를 넘는 문제에 대비해 시스템 경계를 존중하고, 부정적 결과를 솔직히 보고하며, 사람의 확인을 요청하도록 학습시켰다. 코딩 벤치마크에서 지름길이나 부정행위를 시도한 비율은 2%였다고 밝혔다.
추가로 에이전트의 행동과 내부 작업 메모를 실시간으로 감시하는 자동 모니터를 운영한다. 학습 중에는 드물게 채점 스크립트를 바꾸려 하거나 테스트 실행기의 메모리에서 답을 읽는 등 평가를 속이려는 시도가 포착됐다. 구글은 이런 사례로 결함 있는 과제를 수정하지만, 모니터에 과도하게 맞춰 학습되는 것을 막기 위해 모니터의 포착 결과만으로 학습 과정을 개입하지 않는다고 밝혔다. 또한 학습 중 모델의 사고 과정에 지름길을 언급했다는 이유로 벌점을 주지 않는다. 구글의 실험에서는 사고 과정에 벌점을 적용했을 때 공개적으로 언급된 지름길은 61% 줄었지만, 언급하지 않고 취한 지름길은 11.2%에서 36.4%로 늘었다.
웹페이지나 코드에 숨겨진 악성 지시가 에이전트의 작업을 가로채는 프롬프트 인젝션에 대해서는 적대적 학습과 실시간 보안 검사를 적용했다. 구글은 Gray Swan의 간접 프롬프트 인젝션(IPI) 벤치마크에서 15회의 적응형 공격 시도에 대한 공격 성공률을 0.7%로 낮췄다고 밝혔다.
자세한 방어 방식은 Gemini 4 Argon 안전·보안 보고서와 Gemini 4 Argon 모델 카드에서 확인할 수 있다. 구글은 신뢰할 수 있는 사이버 방어자를 위한 Fairwind Program도 확대한다고 밝혔다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요