Tenzai의 평가에서 Gemini 4는 6개 웹 애플리케이션 실험실의 취약점 탐지 점수가 비교 모델 가운데 가장 높았다. 다만 재현 가능한 공격을 만드는 단계에서는 성능이 떨어졌으며, Tenzai는 그 배경으로 공격 생성을 거부하는 경우가 많았다는 점을 들었다.
Tenzai의 기술 담당자 로이 미아라(Roy Miara)는 구글의 얼리 액세스 프로그램을 통해 Gemini 4를 평가하고 GLM5.3, Opus 5와 비교했다. 평가 대상은 소스 코드가 공개되지 않은 블랙박스 환경에서 취약점을 찾고 재현 가능한 공격을 만드는 능력이었다.
취약점 탐지 단계에서 Gemini 4는 평가 모델 중 가장 높은 점수를 기록했다. 그러나 취약점을 실제로 재현하는 단계에서는 탐지 단계보다 재현율이 9%포인트 낮아졌다. Tenzai에 따르면 Opus와 GLM의 하락 폭은 약 1~2%포인트였다. Gemini 4의 거부는 blockReason: SAFETY를 반환하는 강한 차단이 아니라, 작업 수행 중 공격 생성을 거부하는 ‘소프트 거부’ 형태로 나타났다. Tenzai는 이런 거부와 결과의 높은 변동성이 평균 성능을 낮춘 요인이라고 분석했다.
Gemini 4는 평가당 처리 토큰 수가 비교 모델보다 적었다. 반면 도구 사용에서는 파일 읽기 비중이 두드러졌다. 파일 읽기는 전체 도구 호출의 약 40%로, GLM5.3의 10%, Opus 5의 4%보다 높았다. 쓰기 호출 비중은 두 모델보다 낮았다. 한 평가에서는 API 스키마 파일을 서로 다른 줄 범위 요청 103개로 나눠 108회 읽는 등 큰 파일을 반복해서 살펴보기도 했다. Tenzai는 도구 호출 수가 모델이 작업을 구성하는 방식과 시험한 내용을 함께 반영한다고 설명했다.
이번 결과는 취약점 탐지 능력과 공격 재현 능력이 같지 않음을 보여준다. Tenzai는 Gemini 4가 자율 보안 평가에 활용할 잠재력을 보였지만, 소프트 거부가 줄고 행동이 더 일관돼야 안정적인 결과를 낼 수 있다고 평가했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요