RealityBench는 비전·언어 모델이 작업자의 카메라 화면을 보고 현장 작업을 기록하는 능력을 평가하는 벤치마크다. 옥상 태양광 설치와 차량 수리를 포함한 11개 시뮬레이션 환경에서 작업 증거로 적합한 화면인지 판단하는 과제와, 화면에서 작업 관련 상태를 파악하는 과제를 제공한다. 환경을 수정해 평가를 만들 수 있고, 과제별 채점기는 사람 평가자와 대조해 검증했다.

26개 모델을 평가한 결과 OpenAI의 Astra, Anthropic의 Fable, Gemini Flash는 기록 과제에서 좋은 성능을 보였지만, 측정값을 읽거나 작은 부품과 공간 관계를 판단하는 데 약했다. 사진 속 글자를 읽는 과제는 대부분 해결했지만, 줄자의 숫자는 어떤 모델도 절반 이상의 정확도로 읽지 못했다. 기기에서 실행되는 Google의 Gemma와 Liquid의 LFM은 기록 과제에서 최고 점수의 약 80%에 도달했다.

실제 사진과 시뮬레이션 화면을 짝지어 비교한 세 가지 질문에서는 모델 순위가 비슷하게 나타났다(Spearman ρ 0.63~0.79). 자료에는 실제 사진 84장에 담긴 줄자 측정값 133개도 포함됐다. 오류를 추적할 수 있었던 경우, 잘못된 판정은 요구사항을 잘못 이해하기보다 장면을 잘못 읽은 데서 비롯됐다. 줄자 간격은 97%, 경사계는 74%, 레일 부착은 63%가 장면 오독으로 분류됐다.