구글 내부에서 Gemini 4 코딩 성능을 두고 이견이 나왔다

블룸버그 인텔리전스 애널리스트 만딥 싱(Mandeep Singh)은 모델 학습에 최대 4억 달러가 들 수 있다고 추산했다. 여기에 고액 연봉을 받는 인공지능 연구진의 인건비가 더해질 수 있다.

블룸버그 보도에 따르면 Google은 Gemini 4 출시를 준비하면서 코딩 성능에 대한 내부 회의론에 부딪혔다. 내부 평가에 접근한 익명 관계자들은 벤치마크에서는 좋은 성적을 냈지만 실제 업무에 적용하면 일부 코딩 작업에 어려움을 보인다고 전했다. Google은 코딩 등에서 성능이 떨어진다는 주장은 정확하지 않다고 반박했다. Gemini를 검색·지도·이메일·브라우저 등 여러 제품에 쓰는 Google과, AI 코딩 도구를 키우는 경쟁사에 모두 중요한 소식이다.

Gemini 4는 무엇인가?

Gemini 4는 Google이 개발 중인 주력 인공지능 모델이다. 여러 제품의 기능을 뒷받침하는 기반 모델로, 여러 도구에 동력을 공급하는 엔진에 빗대면 이해하기 쉽다. Google 검색의 AI 답변과 지도, Gmail, Chrome 등에 활용된다.

실제 코딩 성능을 두고 왜 의견이 갈리나?

블룸버그가 취재한 내부 사정을 아는 관계자들은 Gemini 4의 코딩 능력이 고르지 않으며, 특히 앱과 웹사이트의 모양과 사용감을 정하는 프런트엔드 작업에 약점이 있다고 말했다. 또 모델 규모가 매우 커 운영 비용이 높아지고 Google의 이익률에 부담을 줄 수 있다는 우려도 나왔다.

직원들 사이에는 의견 차이가 있다. 일부는 Anthropic의 Fable과 OpenAI의 Astra가 Gemini보다 더 빠르게 발전하고 있으며, Gemini 4가 최선의 상태에서도 몇몇 분야에서 뒤처질 것으로 본다. 반면 개발에 관여한 한 Google 직원은 내부적으로 Gemini 4가 최첨단 수준이라는 데 폭넓은 공감대가 있다고 말했다. 이 직원은 회사가 엄격한 시험을 했으며 실제 코딩 작업에서 어려움을 겪는다는 주장도 부인했다.

Google 딥마인드 책임자 코라이 카부쿠오글루(Koray Kavukcuoglu)는 지난주 기술 매체 The Information이 주최한 행사에서 팀을 신뢰하며 Google이 최첨단에 계속 머물 것이라고 말했다. 이는 회사 측의 평가다.

벤치마크 점수와 실무 성능은 다를까?

블룸버그가 취재한 두 관계자는 Gemini 4가 벤치마크 점수에 집중하는 업계 관행, 이른바 ‘벤치맥싱’(benchmaxxing)의 영향을 받은 것으로 보인다고 말했다. 이는 실제로 일을 잘하는 제품을 만들기보다 시험 점수를 높이는 데 개발 역량이 쏠리는 현상이다. AI 업체들은 고객이 모델의 벤치마크 점수를 자주 비교하기 때문에 이런 유인을 받는다.

AI 스타트업 Surge AI의 창업자 에드윈 첸(Edwin Chen)은 벤치마크에 의존하면 사용하기 쉽고 설계가 좋은 앱을 만드는 대신 특정 언어로 코드를 쓰는 능력에 집중할 수 있다고 지적했다. 그는 SAT 점수가 높다고 현실에서의 성과가 보장되지는 않는다는 비유를 들며, 이를 심각한 문제라고 평가했다.

내부 평가에 정통한 한 관계자는 Gemini 4가 글 이외의 입력을 다루는 능력, 예를 들어 동영상에서 메타데이터를 추출하는 능력은 돋보인다고 말했다. 안전성, 사이버 보안, 자연스럽고 명확한 의사소통도 강점으로 꼽았다. 이런 평가는 익명 관계자의 설명이며, 기사에는 이를 독립적으로 검증한 결과가 제시되지 않았다.

이전 모델 계획과 회사 상황은?

Google은 지난해 11월 Gemini 3를 공개했다. 이 모델은 호평을 받으며 OpenAI와 Anthropic을 따라잡으려는 Google의 노력에서 전환점으로 여겨졌다. Google은 5월 I/O 행사에서 Gemini 3.5 Pro를 발표하고 다음 달 출시를 약속했지만, 그 일정은 지켜지지 않았다. 내부 사정을 아는 관계자들에 따르면 회사는 이후 Gemini 3.5 Pro 개발을 중단했다.

블룸버그 인텔리전스는 한 모델의 학습에 최대 4억 달러가 들 수 있다고 추산했다. 고액 연봉 연구진의 비용까지 더하면 개발 중단은 시간과 비용 모두에서 큰 손실이었을 가능성이 있다고 보도했다.

Google은 지난 2월 이후 새 Pro 모델을 내놓지 않았지만, 기업용 Gemini와 소비자용 챗봇 앱, Google 검색의 AI Mode 등 인공지능 제품은 성장했다고 밝혔다. 이 가운데 소비자용 챗봇 앱과 검색의 AI Mode가 각각 10억 명을 넘었다고 회사는 전했다. Gemini 모델 자체가 10억 명을 넘었다는 뜻은 아니다.

블룸버그는 Google 내부에서 관료제가 커지고, 바뀌는 지시와 우선순위 탓에 일관된 전략에 집중하기 어렵다는 불만이 나왔다고 앞선 보도를 인용했다. 제프 딘(Jeff Dean), 노벨상 수상자 존 점퍼(John Jumper), 노암 샤지르(Noam Shazeer) 등 유명 연구자들이 회사를 떠났다. 8월에는 오랫동안 인공지능 연구를 이끌었던 데미스 하사비스(Demis Hassabis)가 회장 역할을 맡고, 딥마인드의 일상 운영을 오랜 동료인 카부쿠오글루에게 넘겼다.

Google이 모델 개발을 이어가는 동안 경쟁사도 제품을 내놓고 있다. 메타는 이달 초 온라인 쇼핑과 예약 같은 일상 업무를 수행할 수 있다고 설명한 AI 에이전트 Muse를 출시했고, 앱은 다운로드 순위 상위권에 올랐다. OpenAI와 Anthropic도 코딩 에이전트 등 자체 제품 개발에 나서고 있다.

Gemini 4를 실제 업무에 도입하려는 개발팀은 벤치마크 점수만이 아니라 자신들이 맡길 코딩 작업과 프런트엔드 결과를 직접 확인할 필요가 있다. 다만 원문은 Gemini 4의 출시일이나 구체적인 벤치마크 수치, 모델 운영 비용을 밝히지 않았다.