Artificial Analysis의 AA-PersonalityBench는 AI 모델이 얼마나 정확한지가 아니라 어떤 말투와 소통 방식을 보이는지 비교하는 벤치마크다. 모델을 고를 때 답변의 표현 방식이나 정보 전달 특성을 살펴볼 수 있지만, 점수는 모델의 정답률을 나타내지 않는다.
평가 대상은 30개 성격 특성과 응답에서 직접 측정하는 21개 소통 특성이다. 성격 특성별로 같은 질문에 대한 두 모델의 답변을 언어 모델 심사단이 비교해 어느 답변에 해당 특성이 더 강하게 나타나는지 판정한다. 특성마다 30개 질문을 사용해 총 900개 질문을 평가하며, 판정 결과는 특성별 브래들리-테리 엘로 점수로 환산한다.
30개 특성은 표현력, 구성력, 정보성, 투명성, 따뜻함, 확신, 상상력, 군더더기 등 8개 지수로 묶인다. 각 지수는 해당 특성들의 엘로 점수를 표준화한 뒤 평균을 내고, 평가 대상 전체 모델 가운데 1~100 백분위로 표시한다. 응답 길이와 구조, 문장부호, 강조 방식 등 21개 소통 특성은 별도로 직접 측정한다.
사이트에서는 공개된 질문 5개와 모델 답변을 비교해 볼 수 있다. 질문별 판정은 해당 질문 하나에 대한 결과이며, 특성 점수는 특성마다 30개 질문을 모두 반영한다. 전체 평가 방법은 AA-PersonalityBench 방법론에서 확인할 수 있다.
또한 30개 특성에 -2부터 +2까지 가중치를 지정해 자신만의 성격 순위를 만들 수 있다. 음수 가중치는 해당 특성이 점수에서 차감되는 방식이다. Artificial Analysis는 모든 평가를 독립적으로 수행한다고 밝힌다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요