로봇 AI 학습 데이터는 어디서 얻을까

로봇 AI의 성능을 높이려면 실제 작업을 담은 학습 데이터가 필요하지만, 언어 모델 학습에 쓰인 인터넷 텍스트만큼 방대한 공개 데이터는 아직 없다. 브라이언 포터(Brian Potter)는 원격 조작, 시뮬레이션, 사람의 작업 영상 등 현재 쓰이는 데이터 수집법과 규모, 비용, 한계를 정리했다.

로봇 학습 데이터 수집법

로봇 학습에는 작업을 성공적으로 수행하거나 시도하는 과정의 기록이 쓰인다. 사람의 조작으로 로봇을 움직이는 원격 조작은 실제 로봇의 상태와 카메라 영상을 함께 기록해 데이터를 만든다. 전문가의 행동을 학습 모델이 모방하는 행동 복제 방식이다. 실제 로봇의 움직임을 반영한다는 장점이 있지만 로봇과 조작자가 필요해 비용이 높고, 조작이 불편해 수집한 데이터 중 일부만 학습에 유용할 수 있다. 원격 조작을 활용한 연구 사례는 Wu 등 2023에서 확인할 수 있다.

실제 로봇이 자율적으로 작업을 시도하고 성공 여부를 평가하는 강화학습도 있다. 구글은 2016년 무렵 여러 로봇 팔이 물체를 집도록 하는 ‘arm farm’을 운영했다(구글 연구팀의 설명). 실제 현장에 배치된 로봇이 작업 데이터를 모아 모델을 개선하고, 개선된 모델이 더 많은 배치로 이어지는 ‘데이터 플라이휠’도 기대된다. Physical Intelligence는 사무실 인근 초콜릿 공장에서 이런 방식의 초기 실험을 하고 있다(사례). 다만 현재 실제 작업을 하는 AI 제어 로봇은 매우 적고, 현장 데이터는 비슷한 작업이 반복되는 경향이 있어 학습에 쓰기 어렵다.

시뮬레이션은 가상 환경에서 로봇을 움직여 데이터를 만드는 방법이다. 실제 배치보다 빠르고 저렴하며, 많은 로봇을 동시에 돌릴 수 있다. Figure AI는 시뮬레이션 속 수천 대의 로봇을 강화학습해 이족보행을 훈련했고(설명), OpenAI는 로봇 손의 루빅스 큐브 풀이에 시뮬레이션상 1만3,000년의 경험을 활용했다(보도). Waymo는 2019년까지 실제 도로에서 1,000만 마일, 시뮬레이션에서 100억 마일을 주행했다(보도).

하지만 시뮬레이션의 유용성은 현실을 얼마나 정확히 재현하느냐에 달려 있다. 걷기나 이동은 비교적 모델링하기 쉽지만, 물체 조작, 특히 부드럽거나 변형되는 물체의 동작은 재현하기 어렵다. 이를 시뮬레이션-현실 간극(sim-to-real gap)이라고 한다. 마찰이나 탄성 같은 조건을 무작위로 바꾸는 도메인 무작위화로 현실의 변수를 포괄하려는 방법도 있지만, OpenAI는 물리 모델링의 어려움을 해결하기 위해 자동 도메인 무작위화(ADR)를 개발했다(OpenAI의 설명). 그럼에도 루빅스 큐브를 가장 어려운 초기 배치에서 풀었을 때 성공률은 20%에 그쳤다. 이 방식은 보행 훈련에는 쓰이지만 물체 조작 학습에는 널리 쓰이지 않는 것으로 보인다. 실제 데이터에서 비슷한 가상 데이터를 만드는 합성 데이터 생성도 활용된다. 엔비디아는 Isaac GR00T에서 원격 조작 데이터를 바탕으로 합성 데이터를 만드는 방법을 소개한다(도구 페이지).

사람이 실제 작업을 하는 모습을 촬영해 로봇 데이터로 바꾸는 방법도 있다. 머리에 단 카메라로 촬영한 1인칭 영상은 사람의 동작을 로봇 동작으로 해석해 학습에 활용한다. Figure AI의 Index는 작업 영상을 모으는 프로그램이며(소개), Shift도 가정에서 집안일을 하는 사람의 영상을 수집한다(Shift). Eidon AI는 팔에 센서를 달아 관절 위치를 기록했고(자료), Neocambrian AI는 촉각 데이터를 기록하는 장갑 Mitts를 발표했다(자료).

범용 조작 인터페이스(UMI)는 카메라가 달린 조작기를 사람이 들고 작업해 영상을 수집하는 방식이다(UMI, Chi 등 2024). Generalist AI와 Sunday Robotics는 주로 이 방식으로 데이터를 모으는 것으로 보인다(Sunday Robotics 사례). 사람의 작업 영상은 로봇 전체를 준비하는 원격 조작보다 수집 비용이 낮고 다양한 작업을 담기 쉽다. 시뮬레이션과 달리 실제 물체를 다룬 기록이라는 장점도 있다. 반면 사람과 로봇의 능력이 달라 동작을 그대로 옮기기 어렵다. UMI는 그 차이를 줄이지만 완전히 없애지는 못한다. UMI 데이터로 훈련한 사례로는 Generalist AI의 시연이 있다.

한 모델에 여러 수집법을 함께 쓸 수도 있다. Agility Robotics의 Digit은 100만 매개변수 규모의 신경망으로 시뮬레이션 강화학습을 통해 걷고, 물체 조작은 행동 복제로 학습한 것으로 보인다(설명). Dyna Robotics도 시뮬레이션 강화학습과 사람의 영상을 함께 사용한 것으로 보인다(자료). 로봇 작업 데이터 외에 텍스트와 이미지로 훈련한 시각-언어 모델, 웹에 공개된 일반 영상도 활용하는 방안이 연구되고 있다. 엔비디아의 Cosmos는 영상으로 훈련한 기반 모델로 로봇 제어 모델의 기반이 될 수 있다(Cosmos).

데이터 규모와 비용

로봇 데이터셋은 빠르게 커지고 있다. Google DeepMind가 2023년 여러 데이터셋을 합쳐 만든 Open X-Embodiment는 16만 개가 넘는 작업에 걸친 100만 개 이상의 로봇 행동 궤적, 총 약 4,000시간의 데이터를 담았다(소개). Physical Intelligence의 Pi 0는 2024년 10월 공개 당시 로봇 작업 데이터 1만 시간을 학습했다(자료). Generalist AI의 GEN 1은 UMI 데이터 약 50만 시간을 학습했다고 발표했다(보도). Figure AI는 초당 30분, 하루 4만3,000시간의 영상 데이터를 모으고 있다고 밝혔으며, Dyna Robotics와 Nature Will은 최신 모델이 사람의 1인칭 영상 100만 시간 이상으로 훈련됐다고 주장한다(Dyna Robotics, Nature Will). 업계 전체가 한 달에 약 50만 시간의 데이터를 만든다는 추정도 있다(추정치).

이 수치를 언어 모델의 학습 데이터와 직접 비교하기는 어렵다. 원격 조작이나 UMI 영상은 사람의 1인칭 영상보다 학습에 더 유용할 수 있고, 다양한 작업을 담은 데이터는 반복적인 데이터보다 가치가 높을 수 있다. 영상은 가까운 시점의 프레임끼리 비슷해 텍스트보다 정보 밀도가 낮을 가능성도 있다. 로봇 연구자 크리스 팩스턴(Chris Paxton)은 웹 데이터와 로봇 데이터 모두 독립·동일 분포(iid)가 아니지만 로봇 데이터가 훨씬 덜 그렇다고 지적했다(분석).

한 거친 비교에 따르면 GPT-2 학습 데이터는 사람이 읽는 시간으로 환산해 약 47만5,000시간, GPT-3는 2,600만 시간, GPT-4는 6억8,500만 시간이다. 이 계산법을 적용하면 몇 년 전 언어 모델도 현재 로봇 모델보다 약 1,000배 많은 데이터를 쓴 셈이다. 켄 골드버그(Ken Goldberg)는 이를 ‘10만 년 데이터 격차’라고 부른다(발표). 팩스턴은 영상 1시간을 약 3,600개의 유용한 학습 토큰으로 환산하는 다른 계산을 제시했다. 이 방식이라면 Dyna Robotics의 100만 시간은 약 36억 토큰으로, 최근 AI 모델 학습 데이터보다 약 5,000배 적다(계산 근거). 두 비교 모두 거친 추정이다.

실제 로봇 학습 데이터를 10억 시간 확보한다고 가정하면 단순 계산상 비용은 100억~1,000억 달러에 이를 수 있다. Eidon AI는 시간당 60~100달러, Pantheon은 UMI 데이터 시간당 60~150달러를 제시했으며, Pantheon은 엔지니어들이 시간당 10달러에 데이터를 만드는 파이프라인을 개발했다고 밝혔다(Pantheon). Shift는 1인칭 영상 기록으로 시간당 최대 20달러를 벌 수 있다고 안내한다(Shift).

얼마나 많은 데이터가 필요한지는 아직 열린 질문이다. 특정 작업에만 맞춘 모델이라면 필요한 데이터가 훨씬 적을 수 있고, 범용 AI 모델이 적은 로봇 데이터만으로도 유능한 제어기가 될 가능성도 있다. 데이터 효율이 더 높은 모델 구조가 나올 수도 있다. 반대로 실제 세계의 이동과 물체 조작은 텍스트 생성보다 어려워 더 많은 학습이 필요할 수 있다. 텍스트의 작은 오류는 전체 의미를 해치지 않을 수 있지만, 물체를 다루는 로봇은 아주 작은 위치 오차로도 작업에 실패할 수 있다. 지금 로봇 업계는 다양한 방법으로 작업 데이터를 모으고 있으며, 언어 모델에서 나타난 데이터 규모 확대가 로봇 능력 향상에도 이어질지는 아직 확인되지 않았다.