원문 캡처 · artificialanalysis.ai
원문 캡처 · artificialanalysis.ai

Artificial Analysis가 언어 모델의 능력을 비교하는 Intelligence Index v5.0을 공개했다. 새 지수는 9개 평가를 반영하며, 사이트에서 모델별 지능 점수와 작업당 비용 등을 살펴볼 수 있다.

평가 항목은 AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1이다. 세부 구성은 평가 방법론에서 확인할 수 있다.

지수 페이지에서는 모델의 지능 점수와 속도, 지수 평가 작업당 가중 평균 비용을 비교할 수 있다. 비용은 낮을수록 좋다고 표시하며, 지능 점수는 높을수록 좋다. 이 지수는 Artificial Analysis가 진행한 평가를 바탕으로 한다.