Pantheon은 8주 동안 로봇 조작 데이터 수집팀을 5명에서 90명 규모로 키워 고유 과제 100만 개 이상을 모았다고 밝혔다. 회사는 과제와 환경의 다양성을 높인 UMI 데이터셋을 구축했으며, Argus로 과제를 촘촘히 주석한 100시간 분량 샘플도 공개한다. Pantheon이 밝힌 시간당 데이터 수집 비용은 10달러다.
UMI(Universal Manipulation Interface)는 사람의 손동작을 기록하는 방식으로, 기존의 1인칭 카메라 데이터 수집과 원격 조작 사이의 절충점을 제공한다고 Pantheon은 설명한다. 회사는 기존 UMI 데이터셋이 소수 과제의 반복 성공 사례에 치우쳐 실제 환경의 다양한 상태를 충분히 담지 못한다고 보고, 자유 형식 수집과 과제별 수집을 함께 운영했다. UMI에 관한 연구는 논문에서 확인할 수 있다.
자유 형식 수집에서는 작업자에게 테이블 위에 흩어진 약 15개 물체를 주고, 별도 지시 없이 원하는 조작을 수행하게 한다. 초기에 과제 라벨이 없어 학습에 바로 쓰기 어렵다는 점을 감수하고 데이터를 먼저 모았다. Pantheon은 비전언어모델(VLM)이 영상 주석과 품질 확인을 맡을 수 있을 것으로 예상했으며, 첫 실험 후 5개월 만에 자체 도구인 Argus가 주석과 품질 관리에 필요한 수준에 도달했다고 밝혔다. 자유 형식 데이터에는 집기·이동·놓기 동작이 많아 정교한 삽입 같은 조작이 부족할 수 있어, 별도의 스크립트 기반 수집도 병행한다.
스크립트 기반 수집 도구 Nomos는 물체와 조작 동작의 조합으로 다양한 과제를 만들고, 물체 유형별 조작 특성을 분류한다. 데이터 분포를 바꿔야 할 때 작업자에게 전달되는 과제 구성을 조정할 수도 있다. 회사는 실패 사례와 회복 과정도 수집한다. RP-1 같은 별도 계획 계층이 행동을 제공하는 세계 모델은 실패 데이터를 학습에 활용할 수 있으며, Argus가 성공과 실패를 구분해 주석한다고 설명한다. 또 이동식 장비를 이용해 사무실 밖 환경에서도 자유 형식 데이터를 모은다.
Pantheon은 자체 제작한 UMI 그리퍼와 카메라 펌웨어, 저장·처리 인프라를 운영한다. 최신 그리퍼는 한 쌍당 제작비가 11달러이며, 이는 재료비만 포함한 수치다. 카메라를 그리퍼와 분리해 교체할 수 있도록 했고, 별도 센서나 컴퓨터를 더하지 않고 여러 카메라를 동기화해 과제 정보와 함께 기록하도록 펌웨어를 구성했다고 밝혔다.
현재 월간 영상 데이터는 2페타바이트를 넘는다. Pantheon은 자체 관리하는 20페타바이트 저장 클러스터 Hades를 구축해 연간 저장 비용을 520만 달러 이상에서 약 10만 달러와 초기 하드웨어 투자비로 낮췄다고 설명한다. 운영 현장의 저장 공간을 보완하는 Styx는 약 1페타바이트 용량을 갖췄고, RTX 5080 두 대를 장착한 Pallas는 영상을 실시간의 1.9배 속도로 낮은 해상도로 변환한다. 회사가 제시한 작업자용 양손 장비 전체 비용은 약 650달러이며, 데이터 기록 시간당 비용은 10달러다.
Pantheon은 현재 교대조당 작업자 45명으로 하루 1만6,000개 이상의 고유 과제를 수집하며, 2027년 1,200만 개를 모을 계획이라고 밝혔다. 이는 회사가 제시한 전망이며, 수집 규모와 비용은 자체 운영에 관한 발표 내용이다. 공개된 데이터셋과 관련 자료는 FastUMI-100K, HiFi-UMI-2K, Hy-UMI, RealOmni, YUBI UMI Arena에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요