벤치맥싱(benchmaxxing)은 공개 벤치마크 순위에서 높은 점수를 얻도록 언어 모델을 집중적으로 미세 조정하거나 프롬프트를 설계하고 과적합하는 행위를 가리킨다. 이번 분석은 모델 공개 전후에 나온 벤치마크 점수를 비교해 이런 경향을 살폈으며, 구글 모델에서 오래된 벤치마크에 유리한 신호를 찾았지만 그 크기는 불확실성보다 작았다.

분석은 여러 벤치마크 점수로 모델의 종합 능력을 추정하는 Epoch Capabilities Index(ECI)를 바탕으로 했다. 모델의 능력과 벤치마크 난도를 추정하는 기존 통계 모델에 계수 하나를 더했다. 이 계수는 모델이 공개되기 전에 나온 벤치마크에서만 점수가 상대적으로 높아지는지를 나타낸다. 데이터가 희소해 계수는 모델별이 아니라 연구소별로 추정했다.

분석에 포함된 연구소 가운데 구글의 모델은 공개 전에 나온 벤치마크에서 더 좋은 성적을 내는 경향이 나타났다. 다만 신호는 1.41 ECI 포인트로 크지 않았다. Epoch가 개별 모델 점수에 부여하는 불확실성보다 작은 수준이며, 여러 모델과 수십 개 벤치마크를 함께 분석한 뒤에야 드러나는 균일한 효과라고 설명했다.

이 효과를 전부 벤치맥싱으로 해석하는 가장 의심스러운 경우를 가정하면, 구글의 모델 35개는 평균 1.3 ECI 포인트 낮아진다. Gemini 4.0 Argon은 4위에서 6위로, Gemini 3.8 Flash는 20위에서 29위로 내려가는 계산이다. 구글이 공개한 주요 벤치마크 점수에 이를 적용하면 모델에 따라 대략 3~5점 낮아진다. 예를 들어 Gemini 3.8 Flash의 DeepSWE v1.1 점수는 73.7에서 69.3으로 내려간다. 알리바바와 xAI 모델은 약 1 ECI 포인트, 앤스로픽 모델은 약 0.5포인트 낮아지고, 오픈AI 모델은 거의 변하지 않는 것으로 추정됐다.

다른 분석 방식으로 검증해도 구글의 경향은 거의 대부분 유지됐다. 다만 이를 벤치마크 공개 시점에 맞춘 직접적인 점수 상승으로만 볼 수는 없다. 구글 모델은 공개 약 1년 전 벤치마크에서 가장 좋은 성적을 내고, 그보다 오래되거나 새로운 벤치마크에서는 성적이 낮아지는 곡선 형태를 보였다. 최근 1~2년의 벤치마크에 맞춰 조정한 결과일 가능성도 제시됐다.

새로운 벤치마크의 다수는 도구 사용을 요구한다. 2026년에 공개된 벤치마크 20개 가운데 15개가 에이전트형이거나 도구를 사용하는 유형이었다. 같은 ECI의 다른 연구소 모델과 비교하면 구글 모델은 이런 벤치마크에서 약 3 ECI 포인트 낮았고, 이는 구글의 최신 벤치마크 성적 하락 대부분과 연구소 간 계수 차이의 약 3분의 1을 설명한다. 에이전트형 벤치마크를 제외해도 구글의 전반적인 경향은 남았다. 다만 엄격한 에이전트형 벤치마크만 보면 오픈AI·알리바바·DeepSeek도 구글만큼 낮은 성적을 보였다.

비슷한 ECI 점수를 가진 모델 쌍을 비교한 분석에서도 구글 모델은 계수가 가리키는 방향을 보였지만, 표준오차가 커 결과만으로 우연과 구별하기 어려웠다. 따라서 이 분석은 구글 모델의 벤치맥싱을 확정적으로 입증하기보다 오래된 벤치마크에서 상대적으로 유리한 경향을 보여준다. 계수는 자체 연구진이 만든 벤치마크에서의 성과와 벤치맥싱을 구별하지 못한다는 한계도 있다.

분석의 대안적 설정과 통계적 반론을 다룬 글은 1부와 2부에서 확인할 수 있다. 분석 코드는 GitHub 저장소에 공개돼 있다.