검토 루프를 쓴 작은 모델이 큰 모델 점수를 58% 비용으로 냈다

코딩 에이전트 실행 그래프 도구 zeroshot을 만든 팀은 작은 모델 Luna에 별도 검토 단계를 붙인 실험에서 큰 모델 Sol의 평균 점수에 중앙값 기준 Sol 비용의 58%로 도달했다고 보고했다. 다만 실험은 ProgramBench의 20개 과제와 GPT-5.6 계열 모델 두 종에 한정됐으며, 점수에 도달하는 데 걸린 시간은 Sol 단독 실행보다 길었다.

검토 루프는 한 세션이 작업과 자체 점검을 모두 하는 방식과 다르다. 빌더가 작업한 뒤, 빌더의 추론 기록을 보지 않은 새 세션의 검사기가 결과를 확인한다. 문제가 있으면 검사기의 지적을 빌더에게 보내 다음 작업을 이어간다. 검사기는 빌더와 같은 모델을 쓰며, 과제 설명과 작업 공간만 받아 검토를 시작한다.

실험은 ProgramBench의 20개 과제에서 진행했다. 각 과제는 기존 프로그램과 문서를 바탕으로 동작을 재현하게 하고, 과제별 262~1,425개의 비공개 테스트로 결과를 채점한다. Luna는 GPT-5.6 계열의 작은 모델, Sol은 같은 계열의 큰 모델이다. 두 모델 모두 OpenAI Codex CLI의 xhigh 추론 설정으로 실행했다. Luna의 입력 토큰 비용은 100만 개당 0.20달러, 출력 토큰은 1.20달러였고, Sol은 각각 4달러와 20달러였다.

Luna의 검토 루프는 과제마다 5회 실행했고, Sol은 검토 단계 없이 한 번에 작업하는 방식으로 5회 실행했다. 루프는 검사기가 승인하거나 50회차에 도달하거나 6시간이 지나면 끝났다. 과제별로 Sol의 평균 점수에 도달하는 데 필요한 루프 비용을 계산한 결과, 20개 과제 중 15개에서 Sol 단독 실행 비용보다 적게 들었다. 전체 과제의 중앙값은 Sol 비용의 58%였다. 다만 이 수치는 도달에 실패한 두 과제를 가장 비싼 결과로 계산한 값이며, 도달한 18개 과제만 보면 중앙값은 49%다.1

세 과제에서는 Sol 비용보다 더 많이 들었고, datasurgeon과 xz에서는 마지막 빌드까지도 Sol 평균 점수에 도달하지 못했다. 비용을 Sol의 과제별 평균 비용으로 고정해 비교했을 때는 20개 중 15개 과제에서 루프의 점수가 높았다. 과제별 평균 점수는 루프가 비공개 테스트의 69.5%를 통과했고 Sol은 65.6%를 통과했다. 반면 Sol 점수에 도달하는 데 걸린 시간은 루프가 중앙값 69분, Sol 단독 실행은 11분이었다. Sol 비용을 모두 쓸 때까지 루프를 돌린 경우에는 중앙값 2.3시간이 걸렸다.2 3

빌더와 검사기 역할을 한 세션에 함께 맡긴 비교에서는 같은 효과가 나타나지 않았다. Luna에 두 역할의 지침을 모두 주었지만 100회 실행은 4~20분 만에 스스로 끝났고, 평균 점수는 50.5%였다. 이는 루프의 첫 빌드보다 2점 낮았다. 실험팀은 루프가 단일 실행보다 얻은 이득이 검사 지침만의 효과가 아니라 반복적인 빌드와 검토에서 나왔다고 해석했다. 전체 회차를 마친 루프의 평균 점수는 71.1%였다.4 5

실험팀이 보고한 실행 안정성에서도 루프가 더 나았다. Sol의 비용 한도 안에서 점수를 비교했을 때, 루프 실행의 86%가 해당 과제 평균에서 5점 이내에 들었다. Sol 단독 실행은 72%, Luna 단독 실행은 65%, 두 역할을 한 세션에 준 방식은 62%였다. 다만 루프가 Sol보다 안정적이라는 차이는 큰 이상치에 주로 나타났다. 평균에서 15점 넘게 벗어난 실행을 제외하면 Sol과 루프의 안정성은 비슷했다. 평균보다 15점 넘게 낮은 실행은 루프에서 없었지만, Sol 단독 실행에서는 3회, Luna 단독 실행과 역할 통합 방식에서는 각각 2회 나왔다.6 7

이번 결과는 20개 과제, GPT-5.6 계열 모델 한 종류, Codex CLI라는 실행 환경에 한정된다. 각 방식은 다섯 번씩만 실행했고, 수치에 제시한 95% 부트스트랩 구간도 이 다섯 번의 실행을 바탕으로 했다. 실험팀은 검사기가 빌더와 별도로 시작한다는 점이 핵심 가설이라고 설명하며, 더 많은 빌더나 전문화된 검사기를 포함한 그래프도 제안했다. 그러나 그런 구성의 비용 대비 점수는 이번 실험에서 검증하지 않았다.

코드와 실험 파일, 과제별 결과 및 그래프 스크립트는 zeroshot 저장소의 ProgramBench 브랜치에서 확인할 수 있다. 평가 환경의 세부 조건과 추가 주석은 실험 보고서에 정리돼 있다. 평가 환경의 차이로 공개 결과와 맞지 않는 과제가 네 개 있었으며, 실험팀은 해당 과제를 제외하지 않고 양쪽 방식에 동일하게 적용되는 조건으로 비교했다고 밝혔다.8