Nature Will이 20자유도 손을 움직이는 Natura-1을 공개했다

Nature Will이 인간의 100만 시간 이상 1인칭 영상으로 사전학습한 500억 매개변수 모델 Natura-1을 공개했다. 업체는 이 모델이 언어와 시각 정보를 받아 20자유도 손을 100밀리초 제어 주기로 움직이며, 제한된 로봇 데이터로 후속 학습한 뒤 낯선 작업에도 대응한다고 밝혔다.

Nature Will은 사람의 경험에서 물리 세계를 학습하는 범용 기반 모델을 개발하는 것이 목표라고 설명한다. 도구와 환경이 사람 손에 맞춰 형성된 만큼, 손가락을 정교하게 움직이지 못하는 기계는 범용적일 수 없다는 관점이다. 그러나 손 관절 수가 늘면 가능한 동작 조합이 급격히 커지고, 물체와 접촉하는 과정에서는 작은 오차도 문제가 된다. 기존 연구가 단순한 집게손을 위한 범용 정책이나 손 조작을 위한 특정 작업용 시스템에 치우쳤다는 것이 업체의 설명이다.

Natura-1은 언어와 영상 입력을 함께 처리하는 혼합 전문가(MoE) 모델이다. Nature Will은 사전학습 뒤 제한된 양의 로봇 조작 데이터로 모델을 적응시켰으며, 복잡한 지시에서 공간 제약, 여러 물체 사이의 관계, 하지 말아야 할 행동을 고려한다고 주장한다. 접을 수 있는 재료를 다루거나 붓글씨를 쓰고, 여러 단계 작업 중 도구를 바꾸는 연속 동작도 시연했다고 밝혔다. 다만 여섯 가지 장시간 작업 시연에는 Natura-1에 추가 튜닝을 적용했고, 나머지 결과는 같은 모델 가중치를 사용했다.

업체는 사람의 경험이 로봇보다 더 다양한 환경과 작업에 존재한다고 보고, 1인칭 인간 영상으로 학습 데이터를 구축했다. 데이터 인프라는 수십 페타바이트를 통합 관리하고, 주당 수십만 시간의 영상을 처리한다. 데이터 중복은 영상과 클립 단위로 제거하며 시각·센서 이상을 걸러낸다. 실제 사람 활동의 분포와 비슷하게 유지하도록 작업별 할당량도 적용한다. 단안·스테레오 영상에서 손의 3차원 자세를 복원하고, 활동을 전체 목표에서 하위 작업과 개별 단계까지 계층적으로 주석 처리했다.

정제된 데이터셋에는 언어 조건이 붙은 행동 궤적 100만 시간이 담겼다. 구체적으로는 61,702,471개 에피소드, 317,842개 작업, 14,286개 장면으로 구성된다. 데이터는 통제된 수집을 중심으로 하되 인터넷의 대규모 1인칭 영상도 포함한다. 단안·스테레오·다중 카메라 녹화와 손목 장착 카메라 영상이 들어 있다. 주당 350,000시간의 1인칭 데이터를 처리하며, 추가 연산 자원을 투입하면 처리량이 선형으로 증가한다고 업체는 밝혔다.

데이터 정제 과정은 영상 중복 제거와 품질 검사를 포함한다. 온라인 영상에는 장면 분할, 손이 보이는지 확인하는 절차, 모델 기반 품질 점수, 시각언어모델 평가를 적용해 주석과 학습에 쓸 구간을 고른다. 단안·스테레오 영상에서 손과 신체 동작을 복원하는 자체 파이프라인은 내부 모션 캡처 기준 평가에서 기존 오픈소스 방식보다 MPJPE를 41% 줄였다고 한다. 주석 시스템은 에피소드 전체 맥락을 활용해 목표와 중간 단계, 개별 행동이 일관되도록 한다. 의미 임베딩, 군집화, 시각언어모델 분석으로 작업·장면의 계층 구조를 만들고, 과대표집되거나 부족한 경험을 파악해 데이터 수집과 샘플링을 조정한다.

훈련 데이터 처리는 Kubernetes 기반 병렬 파이프라인에서 실행된다. 탄력적 스케줄링, 자동 확장, 장애 복구 기능을 갖췄으며, 저장소는 원본 영상과 센서 데이터, 중간 산출물을 Lakehouse에 통합한다. Nature Will은 모델 학습·추론 체계와 GPU 커널을 자체 구축했다고 밝혔다. 학습 데이터는 공유 파일 시스템에 의존하지 않고 객체 저장소에서 직접 읽는다. 생산 환경 구성에서 모델 연산 활용률(MFU)은 50%를 넘고 GPU 사용률은 98%에 이른다고 한다.

추론 과정에서는 Rust 기반 오케스트레이터가 관측 정보 전달, 계산, 동작 전송을 겹쳐 실행하고, CUDA 커널을 결합해 주요 경로의 지연을 줄인다. 여러 로봇의 관측이 비동기적으로 도착하는 환경에서 세션 상태와 자원을 관리하며, GPU에 상태와 캐시를 유지하고 실행 그래프를 재사용한다. 제어 메시지와 대용량 데이터는 별도 경로로 처리한다. 업체는 실제 하드웨어에서 관측부터 동작까지 100밀리초 이내의 주기를 유지한다고 밝혔다.

공유 GPU 커널은 학습과 실시간 추론에서 함께 사용한다. 어텐션, 행렬 연산, 정규화, 텐서 변환, 인코딩을 대상으로 연산을 결합하고 중간 결과를 재사용해 메모리 이동과 커널 실행 횟수를 줄인다. 자체 어텐션 커널은 순전파·역전파 벤치마크 평균 약 1,200 TFLOP/s를 기록했으며, 조정된 FlexAttention 기준보다 처리량이 6배 이상이라고 업체는 주장한다. 평가한 구성에서 전체 학습은 1.7배 이상, 추론은 2배 빨라졌다.

Natura-1은 언어·이미지·영상·행동을 공동 학습하는 단일 500억 매개변수 혼합 전문가 트랜스포머다. 언어 이해, 세계 모델링, 행동 생성을 별도 하위 시스템이 아니라 하나의 시퀀스 모델로 처리한다. 에피소드 전체를 언어·이미지·영상·행동 토큰의 자기회귀 시퀀스로 표현해, 일부 관측-행동 구간만이 아니라 궤적의 모든 단계를 학습에 사용한다. 과거 영상은 기억으로, 미래 영상 예측은 세계 모델의 일부로 활용하며, 영상과 행동을 흐름 매칭 및 공동 디노이징으로 함께 학습하되 모달리티별 손실 함수를 둔다.

업체는 학습 중 언어 지시를 무시하지 않도록 세밀한 데이터 주석을 사용한다고 설명한다. 지시의 의도가 달라지면 예측하는 미래 영상과 행동도 달라지도록 학습하고, 시각 정보를 활용해 지시가 가리키는 장면을 해석한다는 것이다.

평가와 시연

Nature Will은 양팔 로봇 ROKAE AR5와 Wuji 손을 사용해 12개 능력 차원을 다루는 조작 벤치마크를 실시했다. 공개적으로 인정된 손 조작 기반 모델이 없어 직접 비교할 기준이 없다고 밝히고, 비전·언어·행동 기반 모델 π0.5와 대규모 멀티모달 모델 GPT-6-Astra를 비교 대상으로 골랐다. π0.5는 자체 손 조작 로봇 데이터로 미세조정한 뒤에도 점수를 내지 못했고, GPT-6-Astra는 작업당 60분 제한 안에 점수를 내지 못했다.

집게손을 장착한 ARX AC One 양팔 플랫폼에서도 평가했다. π0.5는 Natura-1의 손 조작 학습 데이터와 정확히 같은 일반 작업을 다룬 집게손 시연으로 미세조정했다. 이 조건에서 π0.5는 13.5점, GPT-6-Astra는 16.7점을 얻었다. 반면 Natura-1은 20자유도 손으로 기본 설정에서 53.4점, 에이전트형 설정에서 59.1점을 기록했다. 네 가지 예시 작업과 장면·물체·동작 조합은 Natura-1의 후속 학습 데이터에 없었다. 작업별 추가 튜닝 없이 고정된 실제 로봇 궤적 학습 세트로 평가했으며, 각 실행과 가장 유사한 학습 시연을 함께 제시했다고 업체는 밝혔다.

예시 작업에는 사과와 병을 쟁반에 올려 옮기기, 휴지를 뽑아 젖은 곳을 닦고 버리기, 설탕을 넣은 뒤 빨대로 젓기, 작은 그릇의 포장을 벗겨 내용물을 냄비에 붓고 후추를 더해 뚜껑을 덮기가 포함됐다. Nature Will은 모델이 새로운 물체 배치와 동작 조합에 대응했다고 설명했다.

장시간 작업 시연은 작업별 튜닝을 거쳤으며, 한 번에 이어지는 자율 작업 여섯 가지를 보여준다. 완탕 만들기에서는 얇은 피와 속을 손으로 받치며 접고 봉했다. 배송 상자 포장에서는 라피아, 봉제 인형, 책을 넣고 양손으로 상자 덮개를 잡은 채 테이프를 붙이고 라벨을 붙인 뒤 바코드를 스캔했다. 차 내기에서는 찻잎을 떠 넣고 주전자로 물을 따르며, 유리 뚜껑의 작은 손잡이를 집어 간식을 집게로 옮겼다.

붓글씨 시연에서는 한 손으로 압력을 조절해 붓을 움직이고 다른 손으로 얇은 종이를 고정했으며, 붓글씨를 능숙하게 쓰는 일은 여전히 어렵다고 업체도 밝혔다. 휴대전화 화면 보호 필름을 붙일 때는 틀을 정렬하고 뒷면을 빼낸 뒤 기포가 생기지 않게 가장자리를 눌렀다. 요거트 볼 작업에서는 귀리를 붓고 바나나를 칼로 썬 다음 접시를 한 손에서 다른 손으로 옮겨 과일을 그릇에 넣고 요거트를 부었다. 공개된 영상 길이는 완탕 만들기 1분 12초, 상자 포장 2분 21초, 차 내기 1분 42초, 붓글씨 50초, 화면 보호 필름 붙이기 3분 1초, 요거트 볼 만들기 2분 20초다.

별도 제로샷 시험에서는 연구자들이 일상적으로 로봇에 내린 즉흥적이고 사전에 짜이지 않은 지시를 사용했다. 기준 궤적은 제공하지 않았으며, 동작과 조작 전략, 물체, 배경은 로봇 학습 데이터와 달랐다고 한다. 두 물체를 동시에 옮기거나 한 손씩 순서대로 옮기기, 서랍에 블록을 넣고 닫기, 특정 여섯 색을 제외한 병 고르기, 코코넛 껍데기에 콩 넣기 등이 포함됐다.

또 연구자가 긴 막대로 레몬과 쓰레기통을 옮기거나 레몬을 움직이는 동안 로봇이 위치를 추적하게 했다. 휴지를 세 차례 손에서 손으로 옮긴 뒤 책 위에 놓기, 크기와 모양이 다른 물체로 탑 쌓기, 컵 위에 오렌지를 놓고 휴지를 덮기도 시험했다. 마지막 작업은 오렌지를 셔츠 위에 놓고 셔츠를 접으라는 지시였다. 영상은 셔츠가 접힌 채로 끝나지 않고 여전히 탁자 위에 놓인 모습을 보여준다. 업체는 약 30분간 이어지는 일상 상호작용 영상도 한 번에 촬영해 제시했다고 밝혔다.

Nature Will은 사전에 평가 항목으로 정하지 않은 행동도 관찰했다고 설명한다. 로봇은 손이 닿지 않는 바구니를 막대로 끌어당겨 실을 꺼내고, 막대를 세워 멀리 있는 오렌지를 건드렸다. 트럼프패를 집을 때는 상자 가장자리로 카드를 밀어 일부를 밖으로 내민 뒤 다른 손을 아래에 넣어 들었다. 로봇 학습 데이터에 없던 노트북 키보드에서 스페이스바를 찾아 눌렀다고도 밝혔다.

컵 쌓기가 무너지자 뒤집힌 컵을 든 채 손목을 공중에서 거의 180도 돌려 방향을 바로잡으려 했고, 셔츠를 접던 중 연구자가 떨어진 오렌지를 가리키자 그 몸짓을 알아듣고 오렌지를 건넨 뒤 셔츠를 익숙한 아래에서 위 방향이 아니라 옷깃에서 아래로 접기 시작했다. Nature Will은 이런 행동을 일반적인 물리 지능의 초기 신호로 해석하지만, 이는 업체가 제시한 관찰과 주장이다.

학습 결과와 한계

학습 경험을 약 44,000시간에서 100만 시간으로 늘리는 동안, 학습에 쓰지 않은 인간 데이터에서 행동 예측 오차가 줄었다. 행동 평균제곱오차(MSE)는 47.7%, 평균절대오차(MAE)는 37.3% 감소했다. 같은 모델 가중치를 추가 학습 없이 실제 로봇 데이터의 검증 세트에 적용했을 때 MSE는 67.7%, MAE는 49.3% 줄었다. 두 평가 모두 과거 관측을 조건으로 다음 행동을 예측하는 교사 강제 방식으로 수행했다.

Nature Will은 이 결과가 사람의 다양한 경험에서 손 조작 기술을 학습해 낯선 작업에 적용할 수 있다는 초기 근거라고 주장한다. 다만 공개한 장시간 작업 여섯 가지에는 추가 튜닝이 적용됐고, 물리적 손과 감지 시스템의 안정성, 더 폭넓은 사전학습 데이터, 적은 적응으로 다른 로봇에 옮기는 능력이 앞으로의 과제로 남아 있다고 밝혔다. 회사는 범용 물리 기반 모델 개발이 장기적인 연구·엔지니어링 과제라고 설명했다.

자료: Natura-1: The Will to Act

부록: 원문 예시

@misc{naturewill2026natura1, title        = {{Natura-1: The Will to Act}}, author       = {{Nature Will Team}}, year         = {2026}, howpublished = {\url{https://www.naturewill.com/blog/natura-1}} }