원문 캡처 · nokiapoweruser.com
원문 캡처 · nokiapoweruser.com

Google DeepMind의 미출시 모델로 소개된 Gemini 4 Pro가 유출된 자료에서 소프트웨어 엔지니어링, 터미널 실행, 데스크톱 조작 벤치마크 점수와 API 가격 면에서 경쟁 모델보다 앞선 것으로 나타났다. 다만 Google의 공식 문서나 검증 데이터가 공개되지 않아 수치는 잠정적인 주장으로 봐야 한다.

기사에 실린 비교표에서 Gemini 4 Pro는 DeepSWE v1.1에서 88.7점을 기록했다. Claude Opus 5.5는 74.2점, GPT-6 Astra는 74.1점으로 기재됐다. Terminal-Bench 2.1 점수는 Gemini 4 Pro가 95.3점, 두 경쟁 모델은 각각 약 88점이다. 운영체제 탐색과 데스크톱 조작을 평가하는 OSWorld 2.0에서는 Gemini 4 Pro가 86.8점으로 제시됐다. Claude Opus 5.5는 81.8점이며, GPT-6 Astra의 72.6점은 오프라인 부분 점수로 표시됐다.

GDPval-AA 점수는 Gemini 4 Pro가 2,064점(v2), Claude Opus 5.5가 1,846점(v2.1), GPT-6 Astra가 1,542점(v2.1)이다. 버전이 서로 달라 직접 비교에는 주의가 필요하다.

유출 자료에 담긴 가격과 문맥 창

자료는 Gemini 4 Pro의 문맥 창을 200만 토큰으로 제시한다. 비교 대상인 Claude Opus 5.5는 100만 토큰, GPT-6 Astra는 110만 토큰이다. API 가격은 입력 토큰 100만 개당 2.25달러, 출력 토큰 100만 개당 11.25달러로 적혀 있다. 비교표의 Claude Opus 5.5 가격은 4달러와 20달러, GPT-6 Astra는 10달러와 50달러다.

기사에는 개발자들이 유출된 엔드포인트로 웹 프로토타이핑, 절차적 시각 디자인, 실시간 UI 생성 등을 시험했다는 내용도 담겼다. 다만 시험 결과를 뒷받침하는 공개 자료나 공식 검증은 제시되지 않았다.

공식 검증 전까지는 잠정치

기사에 따르면 일부 연구자는 표준화된 평가에 맞춘 최적화가 실제 개발 업무의 성능을 그대로 반영하지 않을 수 있다고 지적했다. Google이 공식 문서와 검증 가능한 데이터를 공개하기 전에는 벤치마크와 가격 정보를 확정된 제품 사양으로 간주하기 어렵다.