HumanSignal이 10개 AI 모델에 같은 디자인 과제를 주고 생성 결과를 비교하는 ‘AI Taste Index’를 공개했다. 10개 브리프마다 모델별로 90표씩, 총 4,500표를 모아 사람들의 선호를 집계했으며, 결과와 디자인을 사이트에서 확인할 수 있다.
전체 순위에서는 GPT 6 Astra가 선호율 64.3%로 1위, Grok 4.6이 62.7%로 2위, Muse Spark 1.3이 60.3%로 3위를 기록했다. 상위 세 모델 간 차이는 4.0%포인트다. 모델별 순위는 브리프에 따라 달라졌고, 10개 브리프 중 적어도 하나에서 1위를 차지한 모델은 7개였다.
집계는 브래들리–테리(Bradley–Terry) 방식으로 진행했다. 전체 순위의 선호율은 모델당 900표를 합산한 결과이며, 개별 브리프 순위는 모델당 90표를 기준으로 한다. 동률은 표를 나눠 계산하고 같은 순위를 부여했다. 개별 디자인과 전체 결과는 AI Taste Index에서 볼 수 있으며, 원자료는 JSON 파일로 제공된다.
사이트에는 과학 출판물, 반려견 공원 바, 독립 영화 등 10개 브리프의 디자인이 모델별로 실려 있다. 별도의 도구 미사용 실행에서 모델이 제시한 시각적 방향도 공개했다. HumanSignal은 이를 모델이 직접 작성한 방향이라고 설명하며, 해당 설명이 실제 디자인 생성 실행에 반드시 제공된 것은 아니라고 밝혔다. 또한 비공개 체인 오브 소트는 수집하지 않았다고 덧붙였다.
디자인 방향의 차이를 보여주는 지표도 제공한다. 모델이 언급한 글꼴 집합의 차이와 주요 색상의 정규화 RGB 거리를 같은 비중으로 평균한 값이다. 이 지표는 독창성이나 레이아웃, 사람의 선호를 측정하지 않는다. 글꼴을 식별할 수 없는 비교 쌍은 제외했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요