TL;DR

  • GLM-5.3-Flash는 ExploitBench 41개 샘플 중 13개에서 임의 코드 실행(ACE)에 도달해, Mythos의 평균 10.1개를 웃도는 사이버 보안 성능을 보임.
  • 비교 기준을 토큰 수가 아닌 비용으로 설정한 실험에서 GLM-5.3-Flash의 출력 토큰 비용은 100만 개당 0.25달러, Mythos Preview는 125달러로 500배 차이임.
  • ExploitBench를 수정해 실행이 16점 만점에 도달하거나 10억 토큰 한도에 이르면 종료되도록 설정함.
  • Mythos의 상세 로그가 공개되지 않아 정확한 성능 곡선은 비교할 수 없으며, GLM-5.3-Flash가 사이버 보안 전반에서 Mythos급이라고 결론 내릴 수는 없음.
  • 오염 가능성을 배제한다면, 시간당 1달러 미만의 비용으로 이용 가능한 사이버 보안 능력이 기존 평가가 시사한 수준보다 높을 수 있음을 보여주는 경고임.

ExploitBench란 무엇인가?

  • ExploitBench는 잘 알려진 패키지인 v8의 취약점을 점점 심각한 공격으로 전환하는 에이전트의 능력을 측정함. v8은 Chrome, Edge, Node.js에서 사용됨.
  • 점수는 단계별 공격 능력을 구분하며, 대상 시스템을 완전히 제어할 수 있음을 나타내는 임의 코드 실행(Arbitrary Code Execution, ACE) 같은 심각한 공격도 측정함.
  • 이번 실험의 41개 샘플에서 GLM-5.3-Flash는 13개에서 ACE를 달성함. Mythos의 세 번의 실행 점수는 각각 9개, 10개, 11개 ACE로 평균은 10.1개임.
  • Mythos의 참고 결과는 40개 CVE에 걸친 119개 에피소드를 포함함. Mythos 실행 로그는 공개되지 않아 정확한 성능 곡선은 확인할 수 없음.

왜 이 실험을 진행했나?

  • 일반적인 평가에서는 모든 모델에 동일한 작업 예산을 부여하지만, 토큰 가격은 모델마다 크게 다름. 특히 성능의 상한을 추정하고 다른 모델과 비교할 때 중요한 기준은 토큰 수가 아니라 비용임.
  • GLM-5.3-Flash의 출력 토큰 가격은 100만 개당 0.25달러, Mythos Preview는 100만 개당 125달러로 500배 차이임. ExploitBench의 일반적인 설정은 두 모델에 같은 횟수의 턴을 제공하므로, Flash가 낮은 점수를 얻을 가능성이 큼.
  • 그러나 관심 대상은 같은 토큰 수를 사용했을 때의 점수가 아니라 에이전트 성능의 상한임. 이를 통해 시스템의 현실 세계 영향에 관해 추론할 수 있음.
  • Mythos가 사이버 보안 분야에서 상당한 능력을 갖춘 것으로 알려져 있지만, 그러한 능력의 대중화와 오픈소싱에 사회가 충분히 대비했는지는 분명하지 않음.
  • 기존 다른 모델의 그래프에는 턴 수를 제한하는 ExploitBench 원래 구현을 사용함. 모든 모델에 최대 300턴을 허용했지만, 모델별 토큰 사용량은 달랐음. 더 비교 가능한 제한 기준으로 토큰 수를 사용하는 것이 바람직하다는 견해임.
  • 비용은 Flash의 할인된 평가 요금과 ExploitBench가 공개한 Mythos 비용 추정치를 사용함. Mythos Preview에는 과거 출력 토큰 100만 개당 125달러, GLM-5.3-Flash에는 50% 할인된 100만 개당 0.25달러를 적용함.

GLM-5.3-Flash가 사이버 보안에서 Mythos급일 가능성

  • 이번 실험을 실행할 수 있도록 ExploitBench를 수정했으며, 실행은 16점 만점을 기록하거나 10억 토큰 한도에 도달하는 두 경우 중 하나에서 종료되도록 설정함.
  • 전체 41개 샘플 중 4개는 오류로 종료됨. 이 샘플은 오류로 중단된 것으로 처리하는 대신 마지막으로 관측된 점수가 계속 유지된 것으로 계산함. 따라서 GLM-5.3-Flash의 실제 능력을 과소평가했을 가능성이 있음.

마무리

  • 이번 단일 실행만으로 GLM-5.3-Flash가 사이버 보안의 모든 측면에서 실제로 Mythos 수준이라고 추론해서는 안 됨.
  • ExploitBench가 학습 과정에서 사용되거나 그 결과에 오염을 일으켜 평가 결과를 혼란스럽게 했을 가능성도 남아 있음.
  • 그런 오염 가능성이 없다면 이번 결과는 모델 평가자와 더 넓은 분야에 경고가 될 만함. 적어도 한 사례에서, GLM-5.3-Flash 에이전트에 시간당 1달러 미만을 지불할 의향이 있는 누구나 기존 테스트가 가능하다고 여긴 수준을 크게 웃도는 능력에 접근할 수 있었으며, 앞으로도 접근할 수 있음.