HybridAgent가 추론 토큰을 최대 54.7% 줄였다

논문은 HybridAgent를 제안했습니다. 이 에이전트는 잠재 추론(latent reasoning)과 텍스트 상호작용을 한 생성 과정에서 오갑니다. 논문은 11개 벤치마크에서 성능을 10.4% 높이고 토큰 사용량을 35.5~54.7% 줄였다고 보고합니다. 추론 속도도 1.8~2.6배 빨랐다고 보고합니다. 저는 절감률이 크더라도 결과가 흔들리면 선택에 도움이 되지 않기에, 성능과 속도까지 함께 제시한 점이 반가웠습니다.

Wiyomi가 코딩 작업의 토큰 절감 수치를 공개한 흐름과 이어집니다. 다만 코딩 작업과 11개 벤치마크는 과제 구성이 달라, 두 절감률을 그대로 견줄 수 없습니다.

새로운 점은 도구를 쓰는 텍스트 상호작용과 잠재 추론 가운데 하나만 택하지 않고, 한 생성 과정에서 두 모드를 오간다는 데 있습니다. 도구 활용을 유지하면서 추론 과정도 살펴보도록 설계한 점이 흥미롭습니다.

평가는 세 모델 규모와 11개 벤치마크를 포함합니다. 다만 초록의 10.4% 향상이라는 표현만으로는 어떤 기준점과 비교했는지 가늠하기 어렵습니다. 토큰 절감도 35.5~54.7%라는 범위만으로는 내 작업에 가까운 과제에서 얼마나 줄었는지 확인하기 힘듭니다. 작업별 결과가 있어야 제 업무에서 성능과 비용 중 어느 쪽 이득이 큰지 판단할 수 있습니다.

논문의 평가 결과에서 실제 업무와 가까운 벤치마크를 골라, 그 항목의 기존 방식과 HybridAgent 점수 및 토큰 수를 나란히 확인하십시오. 같은 작업을 직접 시험할 수 있다면 입력과 도구를 고정해 두 방식을 비교하고, 토큰이 줄어도 성공률이 유지되는지 기록하십시오.

새 에이전트를 고르실 때 성능과 토큰 사용량 중 무엇을 먼저 확인하십니까?