최고 성능을 보인 코드 검토 에이전트는 상위 5개 의견 안에서 버그의 71.9%를 찾아냈다. 2026년 10월 9일 공개된 연구 결과다.
연구진은 코드 검토 에이전트가 실제 버그를 얼마나 찾아내는지 평가하는 벤치마크 CRBugBench를 만들고, 여러 에이전트를 비교했다. 코드 검토 자동화를 고려하는 개발팀은 성능 수치뿐 아니라 복잡한 변경이나 프로젝트별 맥락이 필요한 작업에서의 한계도 살펴볼 만하다.
CRBugBench는 무엇을 측정하나?
CRBugBench는 실제 저장소에서 확인된 버그와 그 버그를 도입한 코드 변경을 짝지어 검토 과제로 만든 벤치마크다. 실제 버그가 섞인 시험지를 놓고 검토자의 발견 여부를 확인하는 방식에 빗대면 이해하기 쉽다. 연구진은 오픈소스 GitHub 저장소 98곳에서 검토 과제 1,000개를 만들었고, 대기업 한 곳의 비공개 저장소에서 과제 800개를 추가했다.
에이전트 성능은 어느 정도였나?
연구진의 비교에서 최고 성능을 기록한 조합은 claude-opus-5와 copilot-cli였다. 이 조합은 상위 5개 의견 안에 버그를 71.9% 포함했다. 연구진은 5개월 전 opus-4.6의 47.7%와 비교해 성능이 올랐다고 보고했다.
다만 복잡한 변경이나 코드 여러 곳의 관계를 추론해야 하는 버그에서는 에이전트의 성능이 떨어졌다. 프로젝트별 맥락이 더 필요한 비공개 산업 저장소에서도 성능이 크게 낮아졌다. 따라서 이 수치만으로 사람의 검토 없이 소프트웨어를 만드는 방식이 실용적이라고 결론 내리기는 어렵다.
연구진은 계산 자원을 늘릴 때 프롬프트를 바꾸는 방법이 버그 탐지 개선에 가장 효과적이었다고 보고했다. 탐색을 유도하는 프롬프트는 비용을 10% 높이는 조건에서 성능을 최대 5.8% 끌어올렸다. 개발팀에는 코드 변경의 복잡도에 맞춰 검토 자원을 배분하고, 프로젝트의 우선순위를 프롬프트에 반영하며, 저장소 지식을 제공하라는 지침을 제시했다. 변경 특성에 따라 모델을 선택하고, 모델이 바뀔 때마다 검토 품질을 점검하는 방법도 권했다.
논문 전문은 arXiv에서 확인할 수 있다. 연구진은 CRBugBench를 구성한 오픈소스 저장소의 수와 과제 수를 공개했지만, 71.9% 측정의 세부 조건이나 비공개 기업 저장소의 구체적인 특성은 초록에서 밝히지 않았다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요