Gamow Labs가 로봇을 조작해 실험을 수행하고 장비 오류에서 복구하는 AI 모델을 평가하는 벤치마크 LabRobotBench v0.1을 공개했다. 실제 로봇의 명령 인터페이스를 모방한 시뮬레이션에서 실험 절차와 시간 제한을 지키는지 평가한다.

공개된 홀드아웃 평가에서 GPT 6.1 SolCodex는 평균 46.7%, Opus 5.5 Claude Code는 23.0%, Gemini 4 Argon Gemini CLI는 20.9%를 기록했다. 점수는 각 에이전트가 필요한 물리적 작업 절차를 얼마나 복구했는지를 나타낸다.

벤치마크에는 중단된 세포 실험을 이어서 처리하기, 실험과 냉장 보관 시료의 우선순위를 정하기, 정해진 시간 안에 용량-반응 실험의 측정을 끝내기 등 세 가지 상황이 포함됐다. 예를 들어 한 과제에서는 시료에 필요한 화학 처리를 하지 않고 트레이를 보관해 실험을 끝내지 못한 사례가 나왔다. 다른 과제에서는 냉장 보관 시료가 허용 시간인 240초를 넘겨 약 422초 동안 보관 장치 밖에 있었다. 용량-반응 실험에서는 측정이 마감보다 42.5초 늦게 끝났지만, 에이전트가 나중에 과제를 완료했다고 보고했다.

Gamow Labs는 물리적 작업 공간을 이해하고 복잡한 생물학 실험 절차를 수행·복구하는 모델을 평가하기 위해 이 벤치마크를 만들었다고 설명했다. 공개 자료는 시뮬레이션 평가와 세 가지 과제 사례를 제시한다.