공개된 제품과 성능 수치
Cognition은 최신 코딩 모델 SWE-2를 공개하고 Devin Desktop과 CLI에서 제공하기 시작했습니다. Devin Web과 Fusion에도 순차 적용한다고 밝혔습니다. 이번 발표의 중심은 단일 최고 점수보다 비용과 성능을 함께 조정할 수 있는 선택지를 넓혔다는 주장입니다.
Cognition이 제시한 수치는 다음과 같습니다. SWE-2는 FrontierCode 1.1 Main에서 50.0%, DeepSWE 1.1에서 73.0%, Terminal-Bench 2.1에서 92.8%, Terminal-Bench 4에서 27.3%를 기록했습니다. 같은 표에서 GPT-6 Astra는 각각 53.3%, 74.1%, 89.9%, 57.9%였습니다. 따라서 SWE-2는 앞의 두 평가에서는 GPT-6 Astra에 가까웠고, Terminal-Bench 2.1에서는 더 높았지만, Terminal-Bench 4에서는 큰 차이를 보였습니다.
Cognition은 FrontierCode 1.1 Main에서 SWE-2가 Fable 5.1보다 1%포인트 이내의 점수를 내면서 64% 저렴하다고 설명했습니다. GPT-6 Astra에 가까운 성능을 4분의 1 비용으로 낸다는 주장도 덧붙였습니다. 다만 이 비용 비교는 Cognition이 제시한 조건과 측정 방식에 따른 것이므로, 다른 서비스의 실제 청구액이나 작업별 비용과 그대로 같다고 단정하기는 어렵습니다.
점수보다 짧아진 작업 과정
Cognition은 FrontierCode 1.1 Main의 100개 작업을 모델별로 세 차례씩 평가했습니다. 그 결과 SWE-2 medium은 SWE-1.7보다 높은 점수를 내면서 평균 작업 단계가 127단계에서 53단계로 줄었고, 평균 비용은 81% 감소했다고 밝혔습니다. 첫 실제 코드 수정까지 걸린 중앙값도 48단계에서 18단계로 짧아졌습니다.
회사는 SWE-2가 코드베이스 전체를 무작정 탐색하기보다 작업과 관련된 부분을 먼저 판단한다고 설명했습니다. 또한 테스트를 더 포괄적으로 작성하고, 막힌 경로 대신 다른 방법을 찾으며, 사용자의 가설을 그대로 받아들이지 않고 실행 결과로 검증하는 행동이 나타났다고 밝혔습니다. 이런 설명이 실제 개발 흐름에서도 반복되는지는 별도의 장기 사용 평가가 필요합니다.
위 흐름에서 벤치마크·비용 수치와 에이전트 행동은 서로의 원인이라기보다 SWE-2 발표에 함께 제시된 두 항목입니다. Kimi K3 기반 후처리는 공개에 앞선 개발 과정으로 배치되지만, 그 과정이 각 행동 변화나 점수 차이를 직접 만들었다고 발표 자료만으로 단정할 수는 없습니다.
Kimi K3 기반 후처리의 의미
SWE-2는 2.8조 파라미터 Kimi K3를 기반으로 후처리됐습니다. Cognition은 여러 추론 노력 수준을 한 번의 강화학습 실행에서 함께 학습했고, 비용 패널티와 보상 기준선, 롤아웃 처리, 학습 환경을 개선했다고 설명했습니다. 비용 패널티는 각 노력 수준에서 성공률과 추론 비용을 함께 반영하도록 설계됐다는 것이 회사의 설명입니다.
이 접근은 완전히 새로운 기반 모델을 만들었다기보다, 이미 강화학습을 거친 모델에서 코딩 에이전트의 행동과 비용·성능 경계를 다시 조정한 것으로 볼 수 있습니다. 발표 수치만 놓고 보면 후처리의 효과는 분명해 보이지만, 어떤 개선이 새로운 능력의 획득이고 어떤 개선이 평가 환경에 대한 최적화인지는 점수만으로 분리하기 어렵습니다.
Terminal-Bench 격차가 던지는 의문
외부 이용자 postalcoder는 Terminal-Bench 2.1의 92.8%와 Terminal-Bench 4의 27.3% 사이의 큰 차이에 주목했습니다. Terminal-Bench 4가 최근 공개된 평가라는 점을 들어, 이 차이가 새로운 문제에 대한 일반화 수준을 보여주거나 반대로 특정 평가에 얼마나 맞춰졌는지를 드러낼 수 있다고 지적했습니다. mydreamof 역시 Terminal-Bench 4 성적이 높지 않고 다른 평가 지표가 충분히 제시되지 않았다는 점에서 비슷한 의문을 제기했습니다.
이 지적만으로 SWE-2가 벤치마크에 과도하게 맞춰졌다고 확정할 수는 없습니다. 두 버전의 작업 구성과 난도, 실행 조건이 완전히 같다고 확인된 것도 아니기 때문입니다. 다만 버전이 바뀌었을 때 성능이 얼마나 유지되는가는 발표된 최고점보다 일반화 능력을 판단하는 데 더 직접적인 검증 항목일 가능성이 큽니다.
실사용 경험은 여전히 엇갈린다
외부 반응에서는 과거 경험을 근거로 한 신중론도 이어졌습니다. gruez는 Cognition이 과거 자율 코딩 시연에서 요청된 작업을 제대로 완료하지 못하고 엉뚱한 방향으로 진행했다는 지적을 떠올리며, Kimi K3가 이미 강력한 모델이라는 점을 인정하면서도 성능 개선 주장을 조심스럽게 봐야 한다고 말했습니다. pkilgore는 Devin을 가장 일관되게 좋지 않았던 제품 중 하나로 경험했다며 회의적인 태도를 보였습니다. captainregex도 주변의 Devin 사용자에게서 무료라는 점 외에 SWE에 대한 긍정적인 평가를 듣지 못했다며 실제 사용 경험을 중시한다고 밝혔습니다.
반대로 bobtheborg는 SWE-1.6이 작은 작업에서 빠르고 충분했지만 SWE-1.7은 오래 생각하고 같은 작업을 반복하는 듯해 사용을 중단했다고 말하면서, SWE-2가 다시 쓸 만해지기를 기대했습니다. nullbio는 오픈 웨이트 여부와 DeepSeek Flash 4.1 같은 저가 모델 대신 SWE-2를 선택할 이유를 물었습니다. 공개된 내용만으로는 이 질문에 대한 범위와 비교 조건을 확인하기 어렵습니다.
무엇이 성패를 가를까
SWE-2의 경쟁력은 최고 점수 하나보다 비용 대비 해결 품질에서 드러날 가능성이 큽니다. 단순한 수정에서는 medium이 빠르게 움직이고, 복잡한 작업에서는 high나 max가 더 많이 계획하고 검증한다는 Cognition의 설명이 실제로 재현된다면, 사용자는 작업 난도에 맞춰 비용을 조절할 수 있습니다. 반대로 비용 감소가 출력 토큰이나 특정 평가 방식에만 의존한다면, 새로운 저장소와 낯선 문제에서는 이점이 줄어들 가능성이 있습니다.
결국 독립적인 신규 작업 평가, 벤치마크 버전 간 조건 검토, 그리고 방향 전환·테스트 작성·검증 행동이 장기간 유지되는지에 대한 사용 결과가 발표 수치의 의미를 가를 핵심 검증 지점이 될 전망입니다. 점수와 행동이 함께 소개됐다는 사실만으로 둘 사이의 인과를 결론 내리기보다, Kimi K3 기반 후처리 이후 실제 작업에서 어떤 변화가 재현되는지를 따로 확인해야 합니다.
