Reason은 자율 코딩 에이전트 Reason Agent 1.1이 GPT-6 Astra 평가에서 Codex와 Pi보다 높은 Coding Agent Index 점수를 기록했고, 시도당 비용은 두 제품보다 낮았다고 밝혔다. 이 결과는 Reason이 같은 작업과 채점 기준으로 비교했다고 설명한 자체 평가에 근거한다.
- GPT-6 Astra에서 Reason Agent는 65.1점으로 Codex의 62.5점과 Pi의 61.4점을 앞섰다. 시도당 비용은 Codex보다 15~23% 낮았다고 Reason은 설명했다.
- 해결된 작업당 비용은 Codex보다 22%, Pi보다 10% 낮았다. Reason은 303개 작업 전체의 평균 비용을 시도당 비용으로 계산한 뒤, 이를 Coding Agent Index 점수로 나눴다.
- Reason Agent는 Codex보다 입력 토큰을 시도당 23% 적게 썼다(192만 개 대 248만 개). 출력 토큰은 15% 적게 사용했다고 밝혔다.
Reason은 비용 절감의 원리로 도구 병렬 실행과 간결한 도구 구성을 들었다. 모델은 JavaScript를 실행하는 codemode 도구를 이용해 여러 도구를 한 번에 호출할 수 있다. 예를 들어 검색, 파일 다섯 개 읽기, 테스트 실행을 한 번의 모델 호출로 처리할 수 있다고 설명했다. 반면 도구를 하나씩 호출하는 방식은 도구 사용 후 매번 모델을 다시 호출한다.
또 모델에는 범용 코딩 도구와 짧은 프롬프트만 제공하고, 다른 세션이나 하위 에이전트 조정, 클라우드 컴퓨터, 미리보기 URL, 검증된 스크린샷·동영상이 포함된 풀 리퀘스트 같은 기능은 필요할 때 찾아 쓰는 도구 뒤에 둔다. 프롬프트와 도구를 턴마다 바꾸지 않고 요청 내용을 이어 붙이는 방식으로 입력 캐시 적중 가능성을 높였다고 Reason은 밝혔다. Reason이 인용한 계산 사례에서는 캐시 적중률이 95%에서 98%로 오를 때 모델 비용이 약 17% 줄었다.
다만 Reason은 두 설계 원칙이 각각 비용 절감에 얼마나 기여했는지는 아직 시험하지 않았다고 밝혔다. 또한 모델과 하네스를 함께 학습하는 연구소의 방식은 해당 모델에 유리할 수 있지만, 그런 이점이 다른 모델로 옮겨가지는 않는다고 주장했다. 별도 테스트에서는 다른 하네스가 12개 비교 중 9개에서 가장 높은 점수를 기록했다는 결과도 언급했다.
평가는 Coding Agent Index의 세 벤치마크에서 작업마다 세 차례 시도하는 방식으로 진행했다. Reason은 방법론을 공개했으며, 실행기와 채점기는 벤치마크 저장소에 공개했다. 비교에 사용한 다른 하네스의 결과는 그림에 따라 Artificial Analysis 자체 실행 결과나 공개 Harbor 작업 기록이다. Reason의 평가 방식에서는 제공업체가 거부한 시도와 보상 조작 판정에 실패한 시도를 0점으로 처리한다.
Reason은 GPT-6.1 Sol 평가에서도 Codex보다 같은 추론 강도 기준 작업당 비용이 34% 낮았다고 제시했다. 비용과 토큰 사용량은 제공업체의 사용량 기록에 맞췄으며, 해당 실행 기록에는 단계별 토큰 기록이 없고 비밀처럼 보이는 단어가 [redacted]로 가려져 있다고 설명했다.
참고 자료: Artificial Analysis의 코딩 에이전트 평가, Reason의 GPT-6 Astra xhigh 작업 기록, GPT-6.1 Sol xhigh 작업 기록, GPT-6.1 Sol high 작업 기록, GPT-6.1 Sol medium 작업 기록, HarnessTax, KV 캐시 분석, Reason의 재현 저장소, 오픈AI의 Codex 업그레이드 발표.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요