Harness^2는 정답 검증기 없이 에이전트 실행 틀을 개선한다

Harness^2는 정답 검증기 없이도 에이전트의 실행 틀을 고칩니다. 현재 과제에 맞춰 틀을 수정하고, 그 경험을 다음 과제에 남기는 방식입니다. 논문은 이를 세 전문직 벤치마크와 네 모델·실행 틀 조합에서 평가했습니다. 저는 정답 판정 장치가 없어도 실행 방식 자체를 개선 대상으로 삼았다는 점이 눈에 들어왔습니다. 고친 방식이 나아졌는지 확인하기 어려울 수 있는데도, 평가에서 성능 향상이 나왔기 때문입니다.

구글 딥마인드의 Evo2도 에이전트 주변 실행 환경을 개선해 성능을 높이는 연구입니다. Harness^2는 과제별 실행 틀을 고치고 그 경험을 다음 과제에 반영합니다. 그래서 모델뿐 아니라 에이전트의 실행 환경도 개선 대상으로 삼는 흐름에서 Evo2와 만납니다.

반가운 점은 한 차례 개선만으로 성능이 올랐다는 것입니다. 논문은 GLM-5와 Gemini 3.5 Flash가 모든 설정에서 기본 실행 틀보다 높은 성능을 냈다고 보고합니다. WorkBuddy-Bench에서는 최대 11.5점, JobBench에서는 4.5점, LAB의 부분 통과율에서는 11.8%포인트 올랐습니다. 실행 틀을 바꾸는 것만으로도 성능이 달라질 수 있다는 점이 흥미롭습니다.

다만 결과는 세 전문직 벤치마크와 네 모델·실행 틀 조합에서 나왔습니다. 정답을 확인해 줄 검증기가 없습니다. 실제 업무에서 무엇을 성공으로 볼지 먼저 정하지 않으면, 수정안이 도움이 됐는지 놓칠 수 있습니다. 코딩 과제에서는 비교 대상인 ReasoningBank가 기본 실행 틀보다 최대 6.6점 낮았습니다. 경험을 쌓는다는 설명만으로 어떤 방식이든 성능 향상을 기대할 수는 없다는 점이 제게 걸립니다.

오늘 반복 업무 하나를 골라 같은 과제를 기본 실행 틀과 손본 틀에 각각 맡기고, 결과를 가를 성공 기준을 먼저 적어 보십시오. 기준에 따라 결과가 달라진다면 실행 틀 수정의 효과를 확인할 수 있습니다. 정답을 판정하기 어렵다면 다음 과제에 남긴 경험과 실제 결과를 따로 기록해 보십시오.

에이전트의 반복 업무를 개선할 때, 실행 틀을 손보는 일과 성공 기준을 먼저 세우는 일 가운데 무엇부터 확인하시겠습니까?