구글 딥마인드가 에이전트 실행 환경을 개선하는 Evo2를 발표했다

구글 딥마인드가 모델을 바꾸지 않고 에이전트 실행 환경을 개선하는 Evo2를 발표했습니다. 코딩·메모리 벤치마크에서 성능 향상을 보고했고, SWE-bench Verified 해결률은 48.3%입니다. 저는 모델을 그대로 둔 채 성능을 높이려는 발상이 눈에 들어왔습니다. 그 수치보다 에이전트가 일하는 조건도 개선 대상으로 삼았다는 점이 더 오래 남습니다.

Magnitude가 기기별로 커널을 튜닝해 추론 속도를 높이는 엔진을 공개한 흐름과 이어집니다. 그 엔진은 계산 실행을 빠르게 하고, Evo2는 에이전트의 작업 흐름과 실행 환경을 개선합니다. 성능을 끌어올리는 손길이 모델 자체 바깥으로 넓어지고 있습니다.

새로운 점은 모델 주변의 소프트웨어 실행 환경(harness)까지 훈련 대상으로 삼았다는 것입니다. Evo2는 실행 환경을 바꾼 기록과 평가 결과를 학습하고, 환경을 수정·평가하는 정책(policy)도 함께 훈련합니다. 작업 수행 모델을 그대로 둔 채 작업 흐름을 다듬는다는 점에서, 모델을 다시 훈련하는 방법과 다른 개선 경로를 엽니다.

하지만 48.3%는 해결률이지, 이전 방식보다 얼마나 좋아졌는지를 보여 주는 수치는 아닙니다. 코딩·메모리 벤치마크에서 나온 향상이 다른 작업에서도 이어지는지는 이 결과만으로 알 수 없습니다. 숫자만으로 성능 개선의 크기를 판단하면 작업 흐름을 손보는 비용과 효과를 함께 놓칠 수 있습니다.

에이전트를 쓰신다면 같은 모델에 같은 작업을 맡기고, 작업 순서나 메모리 관리 규칙만 바꾼 전후를 비교해 보십시오. 성공률과 실행 시간을 함께 기록하면 환경을 손본 이득이 실제로 남는지 확인할 수 있습니다.

에이전트를 개선할 때 평소 모델과 실행 흐름 중 무엇부터 살펴보십니까?