범용 멀티모달 언어 모델이 실제 양팔 로봇을 직접 제어해 물체를 다루는 능력이 빠르게 향상되고 있다. 2026년 7~10월 RoboDojo 기반 평가에서 과제 점수의 향상 속도는 53.9일마다 두 배였지만, 모델은 여전히 과제를 완수하는 데 시간이 오래 걸리고 비용도 많이 든다.

연구진은 9개 모델을 15개 설정으로 평가했다. 최고 기록의 시간당 하위 과제 완료 수는 12.4에서 54.4로 4.4배 늘었고, 하위 과제당 최저 API 비용은 2.36달러에서 0.38달러로 6.2배 낮아졌다. 평가한 최강 모델의 평균 과제 점수는 45~48%였으며, 이는 과제를 처음부터 끝까지 완수하는 경우가 자주 발생했다는 뜻이 아니라 일관되게 일부 진전을 보였다는 의미다.

연구진은 실험 방법과 결과를 논문으로 정리해 TAG@CoRL에 제출했다. 아래 결과는 해당 논문과 게시물의 핵심을 소개한다.

평가 방법

연구진은 실제 양팔 I2RT YAM 로봇을 대상으로 9개 최첨단 멀티모달 언어 모델을 15개 설정에서 평가했다. 모델에는 팔의 위치·움직임에 관한 감각 피드백과 세 대의 카메라 영상, 즉 양쪽 손목 카메라와 천장 카메라의 영상이 제공됐다.

괄호 속 M, H, XH는 각각 중간, 높은, 초고 수준의 추론 노력 설정을 뜻한다. H+UF는 높은 추론 노력과 초고속 서비스를, H+PR은 높은 추론 노력과 우선 서비스를 가리킨다. 평가 모델은 다음과 같다.

  • OpenAI 모델 4종: GPT-5.6 Sol (H), GPT-6 Sol (H), GPT-6 Astra (M, H, XH, H+UF), GPT-6.1 Sol (H, H+UF)
  • Anthropic 모델 2종: Opus 5 (M), Opus 5.5 (M, H, XH)
  • Google DeepMind 모델 3종: Gemini 3.6 Flash (H), Gemini 3.8 Flash (H), Gemini 4 Argon (H+PR)

평가 과제는 RoboDojo 벤치마크에서 가져온 여섯 가지다. 각 모델·설정·과제 조합은 20회씩 시험했다.

  • 그릇 쌓기: “탁자 위의 그릇을 쌓아라.”
  • 금고에 넣기: “모든 물체를 금고에 넣은 다음 금고를 닫아라.”
  • 물체 분류하기: “탁자 위의 두 종류 물체를 분류해 두 바구니에 넣어라.”
  • 펜에 뚜껑 씌우기: “펜과 펜 뚜껑을 집어 뚜껑을 펜에 씌워라.”
  • 과일 담아 옮기기: “모든 과일을 파란 그릇에 넣은 다음 파란 그릇의 과일을 큰 흰색 그릇에 부어라.”
  • 병 세우기: “병 세 개를 모두 똑바로 세워라.”

모델에 로봇 제어 기능을 제공하는 데는 Inspect Robots 프레임워크를 사용했다. 각 시험은 과제 지시, 시작 장면 영상, 로봇 조작 방법 설명을 모델에 제공하면서 시작한다. 이후 프레임워크는 모델에 동작을 요청하고 이를 실행한 다음, 실행 중 수집한 관측 정보를 모델의 문맥에 추가하는 폐루프를 반복한다. 모델이 시험을 종료하거나 동작 예산 40회를 모두 사용하거나 하드웨어 오류가 발생하면 시험을 끝낸다.

모델이 선택할 수 있는 동작은 move_to, done, give_up 세 가지다. move_to는 양팔의 말단 장치를 직교 좌표계로 제어한다. 모델은 각 팔에 대해 (x, y, z, yaw, pitch, roll, aperture) 값을 제출한다. 이 값은 팔의 기준 좌표계에서 그리퍼의 위치와 방향, 그리퍼가 벌어진 정도를 지정한다. done은 과제를 마쳤다고 알리는 동작이고, give_up은 복구할 수 없는 오류로 과제 완료가 불가능하거나 안전하지 않은 경우처럼 작업을 중단할 때 사용한다.

평가 지표는 과제 수행도, 실행률, 추론 비용이다. 부분적인 진전은 각 과제를 여러 하위 과제로 나누어 측정했다. 각 하위 과제에는 전체 과제 완료까지 누적된 진전을 나타내는 0~100% 점수를 부여한다. 예를 들어 금고에 넣기 과제는 물체 1개 넣기, 2개 넣기, 3개 넣기, 3개를 넣고 뚜껑 닫기의 네 단계로 나뉜다. 각 시험 영상은 세 대의 카메라로 촬영하며 GPT-6 Astra (H)가 채점한다. 도중에 진전이 되돌아가더라도 시험 중 한 번이라도 완료한 가장 높은 단계의 점수를 받는다.

성능과 실패 양상

연구진은 각 모델·설정 조합의 평균 과제 점수를 모델 출시일에 따라 비교했다. 이전에 출시된 조합과 같은 시기에 출시된 조합의 기록을 모두 넘어선 조합은 별도 표시했다. 기록을 세운 모델·설정 조합의 평균 점수 로그값과 출시일에 최소제곱 회귀를 적용해 향상 속도를 추정했다. 이 추세는 2026년 7~10월 사이 성능이 53.9일마다 두 배가 되는 것에 해당한다.

추정의 불확실성은 과제별 층화 백분위 부트스트랩으로 계산했다. 각 모델·설정 조합의 여섯 과제에서 각각 20회 시험 점수를 복원 추출해 2만 개의 부트스트랩 표본을 만들고, 각 표본의 평균 점수와 기록 조합을 구한 뒤 회귀를 다시 수행했다. 95% 부트스트랩 신뢰구간은 36.1~59.5일이었다. 이 구간이 비교적 넓은 이유는 Gemini 4 Argon (H+PR)이 기록을 세웠는지 불확실하기 때문이다. 이 모델의 점수는 Opus 5.5 (XH)보다 0.13점 높았다. 부트스트랩 표본의 45%에서는 Gemini 4 Argon이 기록을 세워 두 배 향상 시간이 약 53일에 모였다. 나머지 표본에서는 기록 모델이 모두 9월 22일 이전에 출시된 것으로 나타나 추정치가 약 42일에 모였다.

빠른 향상에도 불구하고 과제 완수는 드물었다. 상위 모델의 평균 과제 점수는 45~48%였지만, 이는 처음부터 끝까지 간헐적으로 성공했다기보다 반복적으로 일부 진전을 이뤘다는 뜻이다. 연구진은 Opus 5.5 (XH), Astra (H+UF), GPT-6.1 Sol (H)의 최고 성능 설정에 대해 각 과제의 하위 단계별 완료 비율을 추적했다. 이 곡선은 시험 시작부터 완수까지 모델이 어느 단계까지 나아갔는지를 보여준다.

모델은 두 부류로 나뉘었다. GPT-6 Astra, GPT-6.1 Sol, Opus 5.5, Gemini 3.8 Flash, Gemini 4 Argon은 대체로 과제에서 상당한 진전을 보였다. Opus 5, GPT-5.6 Sol, GPT-6 Sol, Gemini 3.6 Flash는 상대적으로 성능이 낮았다. 궤적 분석에 따르면 두 부류의 차이는 주로 효율성에 있었다. 모델은 좀처럼 막히지 않았고, 대개 다음에 무엇을 해야 하는지와 동작이 실패했을 때 회복하는 방법을 알고 있었다. 보통 성공하거나 동작 예산을 소진하거나, 물체를 탁자 아래로 떨어뜨리는 것 같은 복구 불가능한 실수를 할 때까지 꾸준히 진전했다. 따라서 과제 점수는 제한적이지만 넉넉한 동작 예산으로 모델이 얼마나 많은 일을 해내는지를 주로 반영한다.

병 세우기는 예외였다. 로봇 팔의 제한된 피치 각도(원문에 수치 누락)가 이 과제를 특히 어렵게 만들었다. 동작 예산을 늘리면 모델이 과제를 안정적으로 완수할 수 있을지는 분명하지 않다.

모든 모델은 팔의 처짐이나 카메라 시차 같은 물리 시스템의 불완전성에 부딪혔다. 다만 성능이 높은 모델은 이런 현상을 더 잘 알아차리고 특성을 파악해 보정했다. 그릇 쌓기 과제가 한 사례다. 성능이 높은 다섯 모델은 모두 시험의 70% 이상에서 과제를 완수했지만, 성능이 낮은 네 모델의 완수율은 25% 이하였다. 모든 모델은 그릇이 그리퍼의 최대 벌림 폭보다 넓어 그릇의 옆면을 집어 들어야 한다는 점은 알아차렸다. 그러나 이 방식으로 안정적으로 집은 모델은 성능이 높은 다섯 모델뿐이었다.

그릇 벽이 얇아 옆면을 제대로 집어도 그리퍼의 측정값은 정규화된 0~1 범위에서 0.02~0.05에 그쳤다. 이는 빈 그리퍼의 측정값과 구별되지 않았다. 따라서 제대로 잡았는지 확인하는 믿을 만한 방법은 그릇을 들어 보는 것이었다. 성능이 높은 모델은 이 확인을 일관되게 수행했다. 낮은 모델은 그리퍼 값을 잘못 해석해 이미 잡은 그릇을 다시 집으려다 동작을 낭비하는 경우가 많았다.

문제를 진단하고 보정할 수 있는 강한 모델이 낮은 점수를 받는 경우는 대체로 복구 불가능한 실수 때문이었다. 예를 들어 물체를 모두 넣기 전에 금고 문을 닫아 버리면 더는 진전할 수 없다. Opus 5.5는 펜 뚜껑의 굽은 면을 눌러 뚜껑을 손이 닿지 않는 곳으로 튕겨 보내는 실수를 했다.

실행 속도와 비용

연구진은 실행률을 120회 시험 동안 완료한 하위 과제 수를 전체 실행 시간으로 나눈 값, 즉 시간당 하위 과제 수로 계산했다. 하위 과제당 API 비용은 시험 전체의 API 비용을 완료한 하위 과제 수로 나눴다. 두 지표는 하위 과제 완료에 실패한 시도에 든 시간과 비용도 반영하도록 설계됐다.

기록된 최고 평균 완료율은 7월 9일 출시된 GPT-5.6 Sol (H)의 시간당 12.4개에서 9월 4일 출시된 GPT-6 Astra (H+UF)의 시간당 54.4개로 늘었다. 57일 사이 약 4.4배 증가한 수치다. 기록된 하위 과제당 최저 평균 API 비용은 7월 9일 출시된 GPT-5.6 Sol (H)의 2.36달러에서 9월 2일 출시된 Gemini 3.8 Flash (H)의 0.38달러로 줄었다. 비슷한 기간인 55일 사이 약 6.2배 낮아졌다.

속도와 비용을 따로 보면 오해가 생길 수 있다. 빠른 실행은 추론 비용이 높고, 비용이 낮은 모델은 실행에 시간이 더 걸리는 경우가 있다. 연구진은 과제 점수, 하위 과제 완료율, 하위 과제당 API 비용을 함께 비교했다. 어느 다른 모델도 성능·비용·완료율 조합에서 앞서지 못하는 모델들을 파레토 전선에 표시했다. 아직 어느 한 모델이나 모델 집단도 모든 지표에서 우위를 점하지 않았다.

가장 빠른 GPT-6 Astra (H+UF)는 하위 과제 하나를 완료하는 데 1.1분이 걸리지만 비용은 4.51달러였다. 가장 저렴한 Gemini 3.8 Flash (H)는 하위 과제당 0.38달러였지만 완료에는 4.18분이 걸렸다.

기존 연구와 연구진의 해석

아담 카르보넨(Adam Karvonen)과 루카스 페테르손(Lukas Petersson)은 2025년에 로봇 능력을 평가해 당시 성능이 낮다고 보고했다. 연구진은 이후 기술이 향상됐다고 설명한다. 카르보넨의 관련 글과 페테르손의 관련 글에서 이전 평가를 확인할 수 있다.

janvi는 물리적 AI 안전 전반과 특히 로봇 능력 측정에 관한 프로그램을 제안했다. 연구진은 이번 작업에서 그 프로그램의 일부를 구현했다고 밝혔다. 관련 글이 공개돼 있다.

앤스로픽은 7월에 시뮬레이션 환경의 사족보행 로봇·휴머노이드·로봇 팔과 실제 사족보행 로봇에서 7개 모델을 평가했다. 이번 결과는 그 뒤로 모델이 바쁜 여름을 보냈음을 시사한다고 연구진은 설명한다. 앤스로픽의 로봇 팔 평가는 시뮬레이션에서만 이뤄졌지만, 이번 실험은 실제 로봇 팔을 사용했다. 앤스로픽의 평가를 참고할 수 있다.

Jia 등은 GPT-6 Astra를 실제 로봇 팔의 다섯 과제, 여덟 가지 설정에서 평가했다. 조립, 목표물을 던져 넣기, 수건 접기 등이 포함됐으며, Astra는 여덟 설정 중 일곱에서 80%가 넘는 성공률을 기록했다. 이들은 Astra와 다른 모델 다섯 종도 비교해 Astra의 평균 완료 시간이 가장 짧다고 보고했다. 이번 연구는 여섯 과제에서 여러 설정으로 모델 9종을 비교해 시간에 따른 능력 변화를 측정했다. Jia 등의 연구를 참조할 수 있다.

Zhang 등은 GPT-6 Astra, GPT-5.5 Sol, DeepSeek-Flash가 그리퍼 위치를 지정해 로봇 팔을 제어할 수 있는지를 연구했다. 저자들은 DeepSeek 모델의 구체적인 이름을 밝히지 않았으며, 이번 글의 연구자는 DeepSeek API를 근거로 DeepSeek-V4.1-Flash일 가능성이 높다고 봤다. 연구진은 RoboDojo의 42개 과제에서 모델을 평가해 Astra가 DeepSeek과 GPT-5.5 Sol보다 높은 성능을 보였다고 보고했다. 실제 로봇 팔에서도 Astra를 시험했지만, 안전하지 않은 동작을 반복해 하드웨어를 손상시키자 33회 시험을 기록한 뒤 실험을 중단했다. Zhang 등의 연구를 확인할 수 있다.

활용 가능성과 한계

로봇은 크게 감각 장치, 팔과 손 같은 조작 장치, 다리 같은 이동 장치로 이뤄진다. 연구진은 범용 멀티모달 언어 모델이 2024~2025년에 감각 기능을 대체로 익혔지만, 이동 기능은 아직 상대적으로 부족하다고 설명한다. 사족보행 로봇을 조종하는 능력에는 진전도 있다. Opus 4.8과 Gemini Argon 4가 그 사례로 언급됐다. 로봇 팔 같은 조작 장치를 제어하는 능력은 최근 급격히 향상되기 시작했다.

생물학·화학 연구에서는 세 능력 중 이동 기능의 중요성이 상대적으로 낮다. 기본적인 화학 실험에는 손목 카메라가 달린 로봇 팔 두 개와 천장 카메라 몇 대로 이뤄진 로봇 작업대가 충분할 수 있다. 고정형 로봇 팔 10개와 카메라 배열로 실험실을 운영할 수도 있다. 따라서 범용 모델이 로봇 팔을 효과적으로 제어하지 못하는 현재의 한계는 물리과학 연구에 미칠 수 있는 영향도 제한하는 요인 중 하나다.

로봇 능력에는 악용 위험도 따른다. 연구진은 병원체 합성이 어려운 이유 중 하나가 실험실 작업 자체의 난도라고 지적하며, 비전문가도 로봇 팔과 시약을 구입하고 조정된 멀티모달 모델에 작업을 지시할 수 있는 상황을 위험 사례로 제시한다. 불량 AI에도 비슷한 우려가 적용될 수 있다. 연구진은 이에 따라 조작 능력이 정확히 얼마나 빨리 향상되는지를 측정하려 했다고 설명한다.

다만 현재 최첨단 멀티모달 언어 모델은 실제 로봇 팔을 직접 제어해 여러 조작 과제를 수행할 수 있어도, 합리적인 시간 안에 과제를 마칠 만큼 정밀하거나 효율적이지 않다. 추론 비용도 높고 실행률은 아직 낮다. 연구진은 벤치마크에서 성능·실행률·비용 모두 빠르게 향상됐다고 보고했지만, 결론 부분에는 최고 완료율 증가 배수와 과제당 최저 비용 감소 배수가 비어 있다. 앞서 제시한 수치는 시간당 완료 수가 12.4에서 54.4로, 비용이 2.36달러에서 0.38달러로 바뀐 기록이다.

RoboDojo 벤치마크에 따르면 원격 조작자는 과제 하나를 25~40초에 완료한다. 연구진은 이번에 관찰한 성능과 실행률의 향상을 매우 단순하게 외삽하면, 2027년 중반에는 언어 모델이 원격 조작자와 경쟁할 수 있을 것으로 추정했다. 이는 관측된 추세를 바탕으로 한 전망이지, 이번 실험에서 확인한 결과는 아니다.