TL;DR

  • BOTTLED 벤치마크에서 10개 모델을 세 과제에 평가한 결과, 제로샷 성능이 높은 모델도 제한된 자원으로 반복 작업용 솔루션을 만드는 보틀링 능력은 보장되지 않음.
  • 보틀링은 전체 미라벨 작업량을 받은 에이전트가 고정된 시간·연산·LLM API 예산 안에서 소형 모델이나 재사용 프로그램 등을 선택해 만드는 능력임.
  • 전체 60회 실행 중 48회의 점수가 해당 모델 제로샷 성능의 95% 신뢰구간 하한보다 낮았으며, 31회는 같은 토큰 예산을 쓴 두 소형 모델 증류 기준선 중 더 강한 쪽보다 낮은 성능임.
  • 쿼리-상품 관련성 분류에서 Opus 5는 제로샷 매크로-F1의 약 82%를 유지하면서 보고된 비용을 약 657분의 1로 낮춤.
  • 같은 과제에서 Opus 5는 저비용 반복 추론용 모델 Jev의 매크로-F1 약 94%를 달성하며, 전체 작업량 예상 비용은 Jev의 4분의 1임.

연구 배경과 보틀링

  • 대형 언어 모델(LLM)은 여러 좁은 과제를 해결할 수 있지만, 관련된 수백만 개 사례를 각각 질의하면 비용이 지나치게 커질 수 있음.
  • 연구진은 LLM 에이전트가 일반적인 능력을 작업별 솔루션으로 전환해 답변 품질과 분할상환 비용(amortised cost)의 균형을 맞추는 능력을 보틀링(bottling)이라고 정의함.
  • 에이전트는 소형 모델 학습이나 재사용 가능한 프로그램 작성 등 자체 접근법을 선택함.

BOTTLED 벤치마크와 평가

  • BOTTLED는 에이전트에 라벨이 없는 전체 작업량을 제공하고, 정해진 시간·연산·LLM API 예산 안에서 이를 처리하도록 하는 벤치마크임.
  • 연구진은 10개 모델과 3개 과제에서 보틀링 성능을 평가함.
  • 강한 제로샷 과제 성능이 강한 보틀링 능력으로 안정적으로 이어지지 않으며, 제로샷 점수가 비슷한 모델 사이에서도 보틀링 후 성능 차이가 상당함.
  • 보틀링 실행 60회 중 48회가 해당 모델 제로샷 성능의 95% 신뢰구간 하한보다 낮은 점수를 기록함.
  • 실행 60회 중 31회는 동일한 토큰 예산을 사용하는 두 소형 모델 증류 기준선 중 더 강한 기준선보다 낮은 성능임.

비용 절감과 Jev 비교

  • 쿼리-상품 관련성 분류에서 Opus 5는 제로샷 매크로-F1의 약 82%를 유지하면서 보고된 비용을 약 657배 낮춤.
  • 같은 과제에서 Opus 5는 저비용 반복 추론을 위해 특별히 구축된 ‘시스템 1’ 모델 Jev의 매크로-F1 약 94%를 달성하며, 전체 작업량에 대한 예상 비용은 Jev의 4분의 1임.

연구의 의의

  • BOTTLED는 대규모 반복 작업에서 제한된 자원을 재사용 가능한 솔루션에 투입하는 에이전트의 능력을 평가하고 개선하기 위한 기반임.
  • 논문: arXiv:2610.08775