새 탐색법은 에이전트 모델 조합을 적은 비용으로 찾는다

여러 역할의 에이전트 모델 조합을 찾는 새 탐색법이 나왔습니다. 연구진은 8개 벤치마크에서 전체 조합 평가 비용의 약 10%로 유력한 조합의 상당 부분을 찾았다고 보고했습니다. 평가 비용을 30%까지 쓰면 오탐을 적게 유지하면서 대부분을 찾았습니다. 저는 10%라는 숫자에 눈이 멈췄습니다. 알맞은 조합을 찾는 과정의 비용까지 줄이면 배포 전에 더 많은 설계를 비교할 수 있기 때문입니다.

Terraphim은 검색 요약, 역할별 모델 배치, 프록시 라우팅으로 에이전트 실행 비용을 낮추려 했습니다. 다만 종단 간 절감 효과를 측정하지 않았습니다. 이번 연구는 실행보다 앞선 단계에서 어떤 모델 조합을 평가할지 고르는 비용을 줄인다는 점에서 그 접근과 이어집니다.

좋은 점은 모든 조합을 처음부터 평가하는 대신, 품질이 높은 조합과 배포 비용이 낮은 조합을 번갈아 살핀다는 것입니다. 한 번의 평가 결과를 두 탐색에 함께 쓰므로 평가를 아끼면서도 품질과 비용을 함께 비교합니다. 파레토 전선(Pareto frontier)은 품질과 비용을 함께 봤을 때 다른 조합에 밀리지 않는 후보들의 경계입니다.

검증은 역할이 2~5개인 워크플로의 품질·비용 행렬 8개에서 이뤄졌습니다. 역할 수와 업무 성격이 달라지면 필요한 탐색량도 달라질 수 있습니다. 지연 시간을 세 번째 목표로 추가한 평가도 진행했지만, 초록에는 구체적인 결과가 없습니다.

먼저 한 업무에서 가능한 역할별 모델 조합을 적고, 같은 조건으로 품질과 배포 비용을 확인해 보십시오. 전체 후보 중 10%만 시험해 고른 조합과 30%까지 시험했을 때의 선택을 비교하면, 적은 평가로도 충분한지 직접 확인할 수 있습니다.

평소 에이전트의 역할별 모델 조합을 고를 때, 품질과 배포 비용 중 무엇을 먼저 확인하십니까?