SlopCodeBench 전체 평가에서 GPT-6 Astra의 XHigh 설정이 엄격 통과율 16.33%로 가장 높은 점수를 기록했다. 다만 GPT-6.1 SOL의 Medium 설정보다 통과한 체크포인트가 두 개 많았고, 설정별 실행은 한 번뿐이라 차이를 확정적으로 해석하기 어렵다.
2026년 10월 15일 공개된 이번 결과는 36개 문제와 설정별 196개 체크포인트를 대상으로 했다. 엄격 통과는 새 요구사항 테스트뿐 아니라 회귀 테스트까지 모두 통과해야 인정된다. 평가한 모델들의 엄격 통과율은 12.24~16.33%였고, 기준이 덜 엄격한 코어 통과율은 65.82~73.98%였다.
- GPT-6 Astra XHigh는 32/196개 체크포인트를 엄격 통과했고, GPT-6.1 SOL Medium은 29/196개를 통과했다.
- Opus 5.5는 Medium에서 28개, XHigh에서 25개를 통과했다. XHigh의 예상 비용은 Medium의 4.22배였다.
- 세 가지 Medium·XHigh 설정 쌍 가운데 엄격 통과 수가 늘어난 것은 Astra뿐이었다. 실행 횟수가 설정별 한 번이어서 노력 수준이 결과 차이의 원인이라고 단정할 수는 없다.
SlopCodeBench는 코딩 에이전트에 단계적으로 문제와 새 요구사항을 주고, 이후 단계에서 새 기능과 기존 기능이 계속 작동하는지 확인한다. 따라서 한 체크포인트를 통과한 결과와 마지막 단계까지 제대로 작동하는 프로그램을 만든 결과는 다르다. 실제로 GPT-6 Astra XHigh도 36개 문제 중 마지막 체크포인트까지 엄격 통과한 문제는 3개였다.
이번 측정에서 Opus 5.5 XHigh는 Medium보다 엄격 통과 수가 적었지만, 코드 품질 분석에서는 슬롭 패턴 비율이 더 낮게 나왔다. 다만 이 분석은 전체 36개가 아니라 측정이 완료된 28개 문제를 대상으로 했으며, 사용한 검사 규칙이 새로운 모델의 코드 문제를 모두 포착하지 못할 가능성도 제기됐다.
평가에는 고정된 v1.0 카탈로그, 기본 just-solve 프롬프트, 시드 42, any-case 실행기 통과 정책, Python 3.12와 uv를 사용하는 Docker 환경이 쓰였다. 비용은 기록된 추정치 기준으로 178.51~1,550.07달러였으며, 결과는 반복 실행에 따른 변동을 보여주지 않는다.
이번 글은 2026년 10월 분석의 1부다. SlopCodeBench 팀의 후속 분석에서는 슬롭 패턴을 더 정성적으로 살펴볼 예정이다. 이전 평가 글은 Opus 5 평가와 SOL·Fable·Kimi 평가에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요