연구 에이전트는 대화 맥락을 새로 시작해 성과를 높였다

같은 과제를 맡은 연구 에이전트도 실행마다 서로 다른 점수에서 멈출 수 있습니다. 연구진은 작업 결과는 이어받고 대화는 새로 여는 방식을 13개 장기 연구·엔지니어링 과제에 적용했습니다. 같은 계산량에서 비교 기준보다 높은 평균 점수를 냈다는 결과보다, 막힌 대화를 끊고 다시 출발하게 한 설계가 제게 오래 남습니다.

BREW는 과거 경험을 재사용 가능한 절차 지식으로 바꿉니다. 이번 연구는 작업공간을 유지한 채 대화 맥락을 새로 여는 방식을 보여줍니다. 두 접근은 에이전트가 이전 실행을 다루는 서로 다른 방법입니다.

이 방식은 이미 쌓은 작업 결과는 남기고 대화 흐름은 새로 엽니다. 한 경로에서 막힌 생각을 그대로 끌고 가지 않고, 같은 결과물을 바탕으로 다른 경로를 시험할 수 있다는 점이 흥미롭습니다. 연구진은 이를 ‘fork-and-flush’라고 부릅니다.

같은 계산량에서 최소-최대 정규화(min-max normalization) 평균 점수를 비교했습니다. 평균 점수는 단일 실행보다 상대적으로 66.0% 높았고, N회 실행 중 최고 점수를 택하는 기준보다도 44.4% 높았습니다. 두 수치는 13개 과제와 해당 평가 조건의 결과이며, 초록에는 과제별 점수나 적용 범위가 없습니다. 과제별 결과가 있으면 어떤 연구 업무에서 이득이 컸는지 가늠할 수 있습니다.

에이전트를 쓰신다면 같은 작업 결과를 바탕으로 두 경로를 만들어, 한쪽은 기존 대화를 잇고 다른 쪽은 새 대화로 시작해 보십시오. 실행 시간과 계산량, 점수 기준을 맞춰 여러 번 비교하고 평균뿐 아니라 경로별 점수도 기록하십시오. 새 대화 쪽이 반복해서 더 좋은 결과를 내는지 확인하면, 이 방식이 지금 과제에 도움이 되는지 시험할 수 있습니다.

에이전트가 같은 과제에서 제자리걸음할 때, 마지막으로 대화 흐름을 새로 시작해 본 것은 언제입니까?