StarSkirmish Bench v0.2는 대형언어모델(LLM)이 한 시간 동안 스타크래프트: 브루드 워의 프로토스 봇을 C++로 작성하게 한 뒤 경쟁 봇들과 겨루게 한 벤치마크다. GPT-6 Astra가 모델 가운데 가장 높은 점수를 얻었지만, 가장 강한 인간 제작 봇을 상대로는 승률이 7%에 그쳤다.

StarSkirmish Bench v0.2는 각 모델을 해당 연구소의 공식 CLI 환경에서 실행하고, 모델별로 다섯 번 수행한 결과의 평균 승률을 0~100점으로 환산한다. Gemini 4 Argon은 지원되는 최고 추론 설정인 high로 실행했고, 나머지 모델은 max 설정을 사용했다.

GPT-6 Astra가 1위, GPT-6.1 Sol이 2위였다. Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점으로 비슷한 점수를 얻었다. Gemini 4 Argon은 3위, Muse Wonder Full은 7위에 올랐다. 비용 대비 점수 비교에서는 GPT-6.1 Sol이 GPT-6 Astra 실행 비용의 10분의 1을 조금 넘는 수준으로 2위 점수를 얻었다.

다만 강한 인간 제작 봇과의 격차는 컸다. 최고 점수 모델인 GPT-6 Astra도 Stardust, PurpleWave, BananaBrain을 상대로 한 승률이 7%였다. 이 결과는 한 시간의 추론 제한 아래 세 개의 2인용 맵에서 진행한 경기에서 나왔다. 실제 인간 제작 봇 대회 조건은 이보다 훨씬 어렵다고 벤치마크는 설명한다.

모델은 채굴만 하는 기본 봇에서 시작해 코드를 컴파일하고 연습 경기를 치를 수 있다. 경기 요약과 기록, 봇 로그를 읽으며 개선할 수 있지만, 시간이 끝날 때 봇이 컴파일 가능한 상태여야 한다. 실험은 BWAPI 4.4.0과 OpenBW를 사용했고, 프로토스 대 프로토스 경기로 진행했다. 각 모델의 최종 봇 다섯 개는 인간 제작 봇 10개와 데모 봇 3개를 상대로 맵마다 6회씩 경기했다. v0.2에서는 모델끼리 대결하지 않는다.

경기 기록에서 점수를 가장 잘 예측한 요인은 한 시간 동안 가장 강한 7개 봇을 상대로 연습한 횟수였다. GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 초반부터 강한 상대와 경기했지만, Muse Wonder Full, Claude Haiku 5.5, GPT-6 Luna는 그런 연습을 거의 하지 않거나 전혀 하지 않았다. Claude Fable 5.1은 주로 약한 봇과 연습하면서도 37점을 얻은 예외였다.

모델별 결과의 실행 간 차이도 있었다. Gemini 4 Argon은 최고·최저 실행 점수 차이가 18점으로, GPT-6 Astra의 9점과 Claude Opus 5.5의 8점보다 컸다. 따라서 단일 실행 점수만으로 모델의 결과를 비교하기는 어렵다.

v0.2는 v0.1과 달리 Elo 대신 고정된 상대 명단을 상대로 한 승률을 사용한다. 모든 봇이 같은 상대와 경기하므로 모델 간 대결 결과에 점수가 좌우되지 않고, 서로 다른 모델 세대의 점수도 비교하기 쉽다는 설명이다. 대신 각 모델은 서로 다른 연구소의 CLI와 최고 추론 설정으로 실행됐다. CLI의 웹 검색과 웹 가져오기 기능은 꺼져 있었고, 다른 인터넷 접근도 허용되지 않았다.

벤치마크 점수는 널리 알려진 평가와도 차이를 보였다. Artificial Analysis Intelligence Index와의 상관은 ρ 0.26에 그쳤고, v0.1에서 밀접하게 움직였던 Terminal-Bench 4.0과도 차이가 벌어졌다. 반면 C++ 올림피아드 문제를 다루는 Vals IOI, 독립적인 머신러닝 코딩 과제 평가인 WeirdML과는 여전히 함께 움직이는 경향을 보였다. 다만 WeirdML v3에는 당시 9개 모델 중 7개만 포함됐으며 Gemini 4 Argon과 Muse Wonder Full은 빠져 있었다.

벤치마크 세부 결과 · 모델별 행동 분석 · 실험 설정 · v0.1 결과