Harness²는 에이전트 실행틀을 새 과제에 맞춰 개선한다

정답 검증기가 없는 새 과제에서도 Harness²는 에이전트 실행틀(harness)을 개선합니다. 논문은 세 전문 분야 벤치마크와 네 가지 모델·실행틀 구성을 평가했습니다. 그 결과 GLM-5와 Gemini 3.5 Flash가 기본 실행틀보다 높은 점수를 얻었다고 보고했습니다. 제게 더 오래 남는 점은 점수 자체보다 한 과제의 경험을 다음 과제에 남기려는 설계입니다. 답을 곧장 확인할 수 없는 상황에서도 개선을 이어가려는 시도라서 그렇습니다.

구글 리서치의 Harness² 소개도 모델 가중치를 고정한 채 에이전트 실행 환경을 반복 개선하는 접근을 다뤘습니다. 이번 논문은 같은 흐름에서 정답 검증기가 없는 과제에 적응하고 경험을 다음 과제로 넘기는 설계와 벤치마크 결과를 제시합니다.

반가운 점은 성능 개선을 한 과제에서 끝내지 않고, 그 과정에서 얻은 경험을 이후 과제에 활용하도록 묶었다는 것입니다. 정답 검증기가 없는 새 과제에서 실행틀을 조정하는 일과 조정 경험을 축적하는 일을 한 설계 안에 담았습니다.

다만 결과는 세 전문 분야 벤치마크와 네 가지 모델·실행틀 구성에서 나왔습니다. WorkBuddy-Bench의 최대 11.5점과 JobBench의 4.5점은 각각 해당 평가에서 나온 차이입니다. LAB에서도 11.8퍼센트포인트의 상승 폭이 나왔습니다. 새 과제 전반에서도 같은 효과가 난다는 보장은 없습니다. 과제 수준의 재귀 예산을 늘렸을 때 점수가 더 올랐다는 결과는 흥미롭습니다. 다만 추가 실행에 든 시간과 비용을 함께 보면 적용 판단은 달라질 수 있습니다.

에이전트가 반복하는 업무 하나를 골라 기본 실행 방식과 수정한 방식을 같은 과제 묶음에서 비교해 보십시오. 첫 과제 점수뿐 아니라, 수정 경험을 적용한 다음 과제에서 같은 종류의 실수가 줄었는지도 기록하십시오. 첫 과제에서만 점수가 오르고 다음 과제에서 반복 오류가 줄지 않는다면, 개선 경험이 다음 과제로 이어진 것은 아닙니다.

에이전트의 실행 방식을 손본 뒤, 다음 업무에서 달라진 결과를 확인하신 적은 언제입니까?