RoboJev는 작업 설명과 시도 영상에서 뽑은 프레임을 바탕으로 로봇이 작업을 끝냈을 확률을 출력한다. 데모에서는 링을 나무 peg에 끼우는 작업의 영상을 재생하며 시간에 따른 점수 변화를 확인할 수 있다.
제작진은 JEV-27B-VL을 로봇 에피소드 52,598건으로 LoRA 미세 조정해 RoboJev를 만들었다. 모델은 시도 전반에서 프레임 10개를 뽑아 작업 설명과 함께 입력받으며, 다른 카메라 영상이 있으면 각 카메라의 마지막 프레임도 추가한다. 학습에서 제외한 두 에피소드에 카메라 세 개의 영상을 모두 넣었을 때 공개 체크포인트는 성공 확률 0.995와 0.022를 출력했다.
소개된 SO-101 평가에서는 268회 실행을 대상으로 균형 정확도 95.2%, H100 한 대에서 답변 시간 중앙값 0.26초를 기록했다. 측정된 H100 처리 속도 기준으로 답변 1,000건의 비용은 0.19달러다. 다만 SO-101에서 RoboJev와 Astra의 균형 정확도 차이에 대한 불확실성 범위에는 0이 포함된다. 보지 못한 실험실 데이터셋에서는 프레임 10개를 사용한 기본 JEV의 AUROC가 0.900, RoboJev는 0.890이었다.
비교 실험의 입력 조건도 다르다. 기록된 프런티어 모델 결과에는 정면 카메라 프레임 4개를 사용했고, RoboJev에는 정면 프레임 10개와 가능한 경우 다른 카메라의 마지막 프레임을 제공했다. 결과별 평가 절차는 비교 자료에서 확인할 수 있다.
제작진은 공개 데이터셋 7,641개에서 에피소드 68,555건을 표본 추출해 전체 데이터를 평가하는 데 드는 비용을 추정했다. 공개된 체크포인트가 이 표본 전체를 채점한 것은 아니다. 연구진은 모델 가중치와 평가 데이터를 제공하며, LeRobot 보상 플러그인이나 동영상 오버레이로도 사용할 수 있다고 밝혔다. 연구 논문, 동영상 데모, 모델 다운로드에서 자세한 내용을 볼 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요