GPT-6 Astra만 주차장 주행 시험 코스를 완주했다

DrivingBench는 Claude, GPT, Grok 같은 범용 AI 모델이 실제 차량을 조작해 주차장 코스를 주행할 수 있는지 시험하는 벤치마크다. 4개 에이전트의 11회 주행 가운데 GPT-6 Astra만 두 번째 시도에서 코스를 완주했다.

아디티야 라마바드란(Aditya Ramabadran), 사이먼 만스(Simon Mahns), 토비아스 게슬러(Tobias Gessler)가 만든 DrivingBench는 작은 콘으로 경계와 굴곡을 표시한 짧은 코스를 사용한다. 각 에이전트는 같은 지시를 받고 도요타 코롤라를 조작하며, 매 단계마다 보고 내용을 채팅으로 전달한다. 명령은 무선 핫스팟을 거쳐 외부 데이터센터로 전송되기 때문에 주행 중 자주 멈추며, 각 에이전트에는 최대 세 번의 시도가 주어진다. 실험에는 Comma 비전 하드웨어와 OpenPilot이 사용됐다.

11회 주행 중 8회는 코스의 11%도 넘게 완주하지 못하고 첫 번째 회전에서 충돌했다. Grok은 바깥 경계를 이루는 작은 콘 사이의 틈을 통과해야 할 문으로 오인해 첫 시도에서 두 번의 명령만 수행한 뒤 코스를 벗어났다. 한 GPT 모델은 콘의 색이 코스 한쪽에서 모두 같다는 규칙을 만들어냈지만, 최초 지시에는 그렇지 않다고 명시돼 있었다. 여러 에이전트는 굽은 길을 돌 때 필요한 조향 각도를 파악하지 못해 충분히 꺾지 못했다.

GPT-6 Astra는 두 번째 시도에서 코스를 완주했다. 다만 경로가 매끄럽지는 않았다. 긴 오른쪽 굴곡을 바짝 따라간 뒤 결승 지점 직전에는 바깥쪽으로 코스를 벗어날 뻔했다. DrivingBench에 따르면 이 주행에는 7.74달러가 들었으며, 절반 정도만 진행한 이전 시도보다 비용은 거의 네 배였고 토큰도 훨씬 더 많이 사용했다. 각 시도의 영상과 실시간 대화 기록, 주행 경로는 DrivingBench 웹사이트에서 볼 수 있다.