Artificial Analysis가 로봇 조작 벤치마크를 공개했다

Artificial Analysis가 언어 모델의 로봇 조작 평가 AA-Robotics v0.1을 공개했습니다. GPT-6 Astra는 6축 로봇 팔 과제에서 평균 69.4점으로 1위에 올랐습니다. 모델들은 사람보다 과제를 약 100배 느리게 처리합니다. 저는 점수보다 이 시간 차이가 먼저 눈에 들어왔습니다. 점수가 높아져도 기다림과 비용이 실제 쓸모를 좌우하기 때문입니다.

공개 점수가 실제 역량보다 평가에 맞춘 성능 향상을 부를 수 있다는 벤치마크 비판과 이어집니다. AA-Robotics는 실제 물체를 다루는 평가를 더했지만, 8개 과제가 현실 업무 전반을 대표하는지는 별개의 문제입니다.

반가운 점은 말로 답을 내는 평가에 실제 움직임을 더했다는 데 있습니다. 버튼 누르기, 물체 옮기기, 음료 따르기 등 8개 과제를 팔로 수행하게 하고, 성공뿐 아니라 일부 성공도 진행 정도로 점수화합니다.

이번 점수는 8개 탁상 과제를 매번 사전 예시 없이 시킨 결과라, 현장 업무 전반을 대표하지 않습니다. GPT-6 Astra는 과제당 평균 30분이 걸렸고 비용은 16.36달러였습니다. GPT-6.1 Sol은 64.6점을 받았고 평균 비용은 1.93달러였습니다. 두 수치를 함께 보면 순위만으로 실제 도입 가치를 따질 수 없고, 대기 시간과 예산도 성능의 일부입니다.

오늘 자동화 후보인 반복 작업 하나를 고르십시오. 사람의 완료 시간과 비용을 적고, AA-Robotics에서 가장 비슷한 과제의 점수·시간·비용을 나란히 비교하십시오. 부분 성공이 재작업을 뜻한다면, 그 재작업 시간까지 셌을 때도 이득이 남는지 시험하십시오.

반복 작업을 자동화할 때, 성공률·처리 시간·비용 가운데 무엇을 먼저 기준으로 삼으십니까?