OpenClaw를 로봇 팔에 연결한 체험자는 설정을 잘못 적용해 모터를 과열시킬 뻔했다. 이후 OpenClaw와 Codex의 도움으로 팔을 조정하고, 빨간 공을 알아보고 집는 프로그램을 만들었다.

체험기에서 OpenClaw는 팔을 설정하고 카메라로 주변을 본 뒤 천천히 물체를 잡았다. 또 특정 물체를 집어 옮기는 AI 모델을 훈련하는 과정도 도왔다. 로봇을 만들고 제어하는 일이 과거보다 쉬워질 수 있다는 가능성을 보여준 사례다.

이 로봇 팔은 어떻게 작동하나?

LeRobot 101은 Hugging Face의 오픈소스 프로젝트에 속하는 조립 완료형 로봇 팔이다. 사람은 손잡이와 방아쇠가 달린 제어용 팔을 움직이고, 카메라가 달린 추종용 팔은 그 움직임을 따라 한다. 제어용 팔을 직접 조작해 데이터를 모으면 AI 모델이 카메라 화면을 보고 추종용 팔을 움직이는 방법을 학습할 수 있다. 제어용 팔을 움직여 추종용 팔에 동작을 가르치는 방식은 로봇을 가상 조이스틱으로 조종하는 일을 떠올리면 쉽다.

무엇이 달라졌나?

OpenClaw를 쓰기 전에는 로봇 연결과 보정에 몇 시간이 걸렸다. 잘못된 설정으로 모터를 과열시킬 뻔한 일도 있었다. 이후 OpenClaw와 Codex가 연결 설정을 처리했고, 체험자의 도움을 받아 관절 위치를 보정했다. Codex는 여러 라이브러리를 사용해 공을 찾아 집는 파이썬 스크립트도 작성했다.

다음 단계에서는 OpenClaw의 도움을 받아 로봇 팔을 제어하는 모델을 훈련했다. 여러 접근법을 시험하면서 각 훈련 뒤 모델의 오류율을 확인했다. 최종적으로 로봇 팔은 물체를 집을 수 있었다.

다만 체험자는 코드를 AI로 작성하는 방식이 완벽하지 않다고 짚었다. 환각으로 버그가 생길 수 있고, 특히 서로 다른 하드웨어를 다룰 때 주의가 필요하다.

연구에서는 무엇을 확인했나?

UC 버클리의 로봇공학자 켄 골드버그(Ken Goldberg)는 AI 코딩이 전통적인 공학 방식과 시각·언어·행동 모델의 간극을 메울 가능성이 있다고 본다. 전통적 방식은 신뢰성이 높지만 다른 상황에 일반화하기 어렵고, 시각·언어·행동 모델은 일반화에 강하지만 아직 신뢰성이 충분하지 않다는 설명이다.

2022년 연구 논문은 코드를 로봇의 행동을 정하는 정책으로 사용하는 접근법을 ‘코드로서의 정책(code as policy)’이라고 불렀다. 이후 AI의 코딩 능력이 발전하면서 여러 연구실에서 이 방식에 관심을 보여 왔다.

골드버그 연구팀은 엔비디아, 카네기멜런대학교, 스탠퍼드대학교 연구자들과 함께 코딩 모델의 로봇 역량을 재는 벤치마크 CaP-X를 개발했다. 이 평가에서 로봇 프로그래밍에 가장 뛰어난 모델은 Claude나 ChatGPT가 아니라 Gemini였다. 연구진은 구글 딥마인드가 모델의 멀티모달 능력과 물리적 세계를 이해하는 능력을 훈련해 온 점이 영향을 줬을 가능성을 제시했다.

연구진은 코딩 에이전트가 시뮬레이션 로봇과 실제 로봇을 제어할 수 있는 환경 CaP-Gym도 만들었다. 또 코딩 모델의 성능을 높이는 에이전트 프레임워크 CaP-Agent0를 개발했다. 일부 물체 조작 과제에서는 이 프레임워크를 적용한 모델이 로봇의 움직임을 직접 제어하도록 훈련된 모델보다 나은 결과를 냈다.

골드버그 연구팀은 엔비디아와 코드로서의 정책 접근법을 연구하고 있다. 엔비디아에서 사내 해커톤을 조직해 직원들이 AI 코딩으로 로봇을 다뤄 보도록 한 스펜서 황(Spencer Huang)은 골드버그와 함께 이 방식을 더 많은 로봇 소프트웨어 도구와 호환되게 하는 연구를 진행 중이다.

“거의 누구나 로봇공학에 뛰어들 수 있게 하는 것이 진정한 궁극의 목표다.”

— 스펜서 황

로봇 팔을 직접 다뤄 보려면 연결 설정과 관절 보정을 신중히 확인해야 한다. 특히 잘못된 설정이 모터 과열로 이어질 수 있다는 점을 이 체험은 보여준다. 원문은 LeRobot 101의 가격, 사용한 모델의 구체적인 버전과 훈련 조건, CaP-X 평가의 수치와 세부 결과를 밝히지 않는다.