YC의 AI 에이전트 팀 실험은 협업의 병목을 보여준다

Y Combinator와 Olam Labs는 Minecraft와 Mindustry에서 AI 에이전트 팀을 실험했다. GPT-6.1 Sol 팀이 Claude Opus 5.5 팀을 게임에서 앞섰지만, 결과는 제한된 게임 설정에서 나온 것이며 모델 전반의 우열을 뜻하지 않는다.

이 글은 Y Combinator Labs의 2026년 10월 보고서를 바탕으로 세 실험의 수치와 실패 사례를 정리하고, 여러 코딩 에이전트를 운영할 때 살펴볼 점을 제안한다.

세 가지 실험에서 드러난 점

Civ50에서는 GPT-6.1 Sol 에이전트 50개가 Minecraft 생존 세계 한 곳에서 3시간 동안 문명을 건설하도록 지시받았다. 에이전트들은 약 5,900개의 메시지를 주고받았고 34번 죽었다. 이 가운데 22번은 첫날 밤에 발생했다. 명단 첫 번째 에이전트인 Ada는 투표 없이 지도자가 됐다. 나머지 49개 중 46개가 첫 메시지를 Ada에게 보냈고, Ada는 실행 동안 쪽지 616개를 직접 받았다.

정착지는 건설보다 생존과 절차에 치우쳤다. 에이전트 네 개는 뼛가루 한 개를 위한 단독 비료 담당자를 정하는 데 11분을 썼다. 구운 닭고기를 한 에이전트에게 던졌는데 다른 에이전트가 먹은 뒤에는 이름을 지정해 상자에서 꺼내고, 물건을 던지지 않는 규칙을 만들었다.

Bed Wars에서는 Claude Opus 5.5 에이전트 10개와 GPT-6.1 Sol 에이전트 10개가 45분짜리 게임 9회를 치렀다. Mindustry에서는 GPT-6.1 Sol을 Codex에서, Claude Opus 5.5를 Claude Code에서 실행해 7경기를 진행했다. 같은 게임 API를 사용했고 전략 힌트는 주어지지 않았다.

Bed Wars에서 Claude는 방어적으로 플레이하며 처치 수에서 앞섰다. 마지막 시리즈의 처치 수는 각각 63 대 16, 57 대 19, 59 대 24였다. 하지만 GPT는 승리한 세 경기에서 종료 약 3분 전에 Claude의 침대를 부쉈다. Mindustry의 3경기는 4시간 16분 동안 이어졌고, 마지막 두 경기를 제외한 대부분의 경기는 접전이었다.

팀의 소통과 학습

Bed Wars에서 GPT 에이전트는 Claude 에이전트보다 5~30배 많은 메시지를 보냈다. 한 경기에서는 GPT가 쪽지 1,147개를 보낸 반면 Claude는 82개를 보냈다. GPT에서 메시지를 가장 많이 받은 플레이어는 경기당 198~368개를 받았고, Claude에서는 11~48개였다. Claude는 메시지의 약 30%에서 ‘우리’라는 표현을 썼고, GPT는 약 5%에서 썼다. Mindustry에서는 GPT 메시지의 단어들이 붙어 압축된 형태가 됐고, Claude의 메시지는 사람의 팀 대화처럼 읽혔다.

Claude는 지도자 한 명을 두고 제안에 찬반 투표를 했으며, 지고 있는 동안에도 지도자를 바꾸지 않았다. GPT는 책임을 작은 단위로 나눴고, 경기가 팽팽해지면 에이전트들이 먼저 행동했다.

Bed Wars의 도구 오류로 블록을 부술 수 없게 되자 GPT 에이전트들은 곡괭이를 명시적으로 장착하면 우회할 수 있다는 점을 알아내 서로 공유했다. Claude 에이전트 몇몇은 블록을 부수는 것이 불가능하다고 판단했다. Claude는 교훈을 메모리 파일에 적었지만 가장자리에서 떨어지는 실수를 되풀이했다. GPT는 메모리 파일을 비워 둔 대신 쪽지로 서로 주의를 줬다.

Mindustry에서 GPT 에이전트는 유닛과 게임 규칙을 살펴보려고 공개 소스 코드를 가져왔지만 Claude 에이전트는 그러지 않았다. 6경기에서 Claude 팀은 대공 포탑 74개 중 55개에 흑연 대신 구리를 넣었다. 7경기에서는 같은 공습을 막기 위해 흑연을 공급하는 포탑 207개를 고리 형태로 건설했다.

여러 코딩 에이전트를 운영할 때

보고서의 저자들은 관찰된 신중함을 코딩 에이전트가 한 단계에 지나치게 매달리거나 보안·프로덕션 변경을 과도하게 주저하는 모습과 비교한다. 다음 항목은 보고서의 결론이 아니라 이 실험 결과를 바탕으로 한 편집상의 제안이다.

• 명단 순서대로 지도자가 정해지면 첫 번째 에이전트가 병목이 될 수 있다. 조정자를 의도적으로 정하고 그 에이전트가 받는 메시지 수를 기록한다.
• 에이전트가 절차에 시간을 쓰지 않도록 결정마다 시간이나 토큰 예산을 둔다.
• 팀이 막혔을 때 지도자를 바꾸거나 감독자가 교체할 수 있게 한다.
• 교훈 파일을 다음 단계에서 실제로 읽는지 확인한다.
• 코딩 에이전트가 사용하는 도구의 문서와 소스 코드를 제공한다. 게임 소스 코드를 읽은 팀이 더 나은 성적을 냈지만, 이는 게임 실험의 관찰이다.

Minecraft 하네스의 핵심 반복 실행은 Pi에서 이뤄지고, 게임 내 행동에는 Mineflayer 도구를 사용한다. 하네스는 오픈소스로 공개돼 있어 Civ50을 다른 모델로 다시 실행할 수 있으며, Civ50 데이터도 공개돼 있다.

다만 각 결과는 한 번의 실행에서 나왔다. 보고서에는 Civ50의 반복 실행이 제시되지 않았다. 팀마다 프롬프트와 추론 설정, 에이전트 도구가 다른 부분도 있어 모델 효과와 하네스 효과를 분리하기 어렵다. 이런 패턴이 코딩 작업에서도 나타나는지는 측정된 결과가 아니라 보고서 저자들의 비교다. 따라서 게임 점수를 모델 선택의 일반적인 근거로 삼기보다, 자체 작업에서 조정자와 메시지 수, 메모리 파일의 사용 여부를 확인하는 참고 자료로 볼 수 있다.

원문 보고서의 경기별 설명은 Y Combinator Labs 보고서에서 확인할 수 있다. 관련 논의는 Hacker News 토론에 있다.

부록: 원문 예시

Game Teams Result (GPT-6.1 Sol vs Claude Opus 5.5)
Bed Wars 10 vs 10, nine 45-minute games 6 - 3
Mindustry Codex vs Claude Code, 7 games, ~9.5 h 6 - 1
Total 16 games 12 - 4