Replit이 빈 프로젝트에서 여러 기능을 차례로 구현하는 장기 소프트웨어 개발 벤치마크 ViBench 2.0을 공개했다. 17개 제품과 241개 기능 요청, 544개 테스트 계획으로 평가하며, 최고 성능 모델도 전체 테스트 계획을 통과한 빌드는 49~65%에 그쳤다.

ViBench 2.0에서 에이전트는 짧은 명세를 바탕으로 제품의 첫 버전을 만들고, 기존 코드에 최대 18개 기능을 추가한다. 평가는 실제 브라우저에서 테스트 계획을 실행해 이뤄진다. 빈 데이터베이스에서 실행되는지, 기능 간 상호작용이 유지되는지 등도 확인한다. 제품 8개의 자료는 공개 저장소에 있으며, 나머지 9개는 공개하지 않았다.

공식 결과는 Fireworks가 동일한 실행 환경과 설정에서 제품별 네 차례씩 빌드해 산출했다. GPT-6.1 Sol의 전체 테스트 계획 통과 빌드 비율(pass@1)은 65%였고, GPT-6 Astra는 60%, Opus 5.5는 49%였다. 세 모델은 각각 테스트 계획의 90% 이상을 통과했지만, 완성된 빌드 전체를 통과시키지는 못했다. DeepSeek V4.1 Flash는 빌드당 약 2.50달러로 테스트 계획의 77%를 통과했으나, 오픈 웨이트 모델 가운데 전체 빌드를 통과한 모델은 없었다. GPT-6.1 Sol의 빌드 비용은 약 12달러, GPT-6 Astra는 약 90달러였다.

Replit은 34개의 버그를 작동하는 빌드에 하나씩 심어 채점 모델 Opus 5.5를 점검했고, 버그가 보이는 상태에서 테스트 계획을 통과시키는 경우는 없었다고 밝혔다. GPT-6.1 Sol이 Opus 5.5의 통과 결과 477건을 다시 채점했을 때 99.2%가 맞는 것으로 확인됐다. 다만 모델은 빈 데이터베이스에서 실행에 실패하거나, 여러 기능이 맞물리는 지점에서 오류를 내기도 했다.

공식 결과와 상세 지표는 Specialized Intelligence Index 순위표와 vibench.ai에서 확인할 수 있다. Replit은 방법론 상세 자료를 추후 공개할 예정이며, 모든 모델이 OpenHands 기반의 동일한 에이전트 환경에서 실행됐다고 설명했다. 다른 설정에 맞춰 조정된 모델은 이 환경에서 더 낮은 점수를 받을 수 있다.