Bottlecap AI가 Gemma 추론 토큰을 평균 38.9% 줄였다

Bottlecap AI가 구글 Gemma를 바탕으로 추론 토큰을 줄인 모델을 공개했습니다. Bottlecap AI는 12개 벤치마크에서 추론 토큰이 평균 38.9% 줄었다고 보고했습니다. 최대 감소율은 69.1%였고, 정확도 변화는 평균 -0.15%포인트였습니다. 저는 절감률만큼이나 정확도 평균이 거의 유지됐다는 조합이 눈에 들어옵니다. 비용을 줄인다고 답의 품질도 꼭 떨어지는 것은 아니라는 점이 흥미롭습니다.

HybridAgent 연구도 11개 벤치마크에서 토큰 사용량과 추론 시간을 줄였다고 보고했습니다. 접근 방식은 다르지만, 모델의 답변 점수뿐 아니라 추론 비용도 낮추려는 흐름에서 ThinkingCap과 만납니다.

토큰만 줄였다고 소개하는 데 그치지 않고 정확도도 함께 비교한 점은 반갑습니다. 12개 평가 중 8개에서 정확도 차이는 반복 실행 간 변동 폭보다 작았습니다. 5개에서는 원본보다 정확도가 높았습니다. 토큰 절감과 답의 품질을 함께 살펴볼 정보가 생겼습니다.

비교는 같은 질문과 평가 도구, 같은 샘플링 설정으로 진행됐습니다. 공개된 결과에서 AA-LCR 정확도는 4.00%포인트 낮았습니다. 토큰 예산이 충분해지면 두 모델의 성능 곡선도 수렴했습니다. 그래서 평균 절감률보다 자신이 자주 하는 질문에서 정확도가 유지되는지가 더 중요해집니다.

ThinkingCap은 Hugging Face에서 받을 수 있으니, 자주 하는 질문을 원본 모델과 같은 설정으로 넣어 보십시오. 토큰 수와 답의 정확도를 함께 기록하고 몇 차례 반복해 절감이 이어지는지 확인하십시오. 답의 품질이 유지되는 작업부터 시험 적용할 수 있습니다.

새 모델을 고를 때 토큰 사용량과 정확도를 어떤 순서로 확인하십니까?