Cocolabs가 생성 모델이 사용자의 디자인 취향을 얼마나 잘 보존하는지 평가하는 벤치마크 VybBench를 공개했다. 글꼴·색상 재현과 이미지의 불필요한 변경 여부를 측정해, 시각 편집을 거듭할 때 취향과 결과물 사이에 생기는 차이를 살펴보도록 설계했다.
VybBench는 145개 Google Fonts의 글꼴 재현을 기준 이미지와의 교집합 대비 합집합(IoU)으로 평가한다. 측정 방식 자체의 잡음을 확인하기 위해 크기와 위치가 다른 정답 이미지끼리 비교했을 때 평균 IoU는 94.4%였다. 이 점수에 가까운 모델은 이 방법으로 측정할 수 있는 수준에서 글꼴을 잘 보존한다는 뜻이다.
색상 평가는 100개 RGB 16진수 색상을 각각 생성하게 한 뒤, 요청한 값과 생성된 값 사이의 차이를 RGB 채널별로 구해 가장 큰 차이를 기록한다. 편집 평가는 색상 변경, 요소 추가·삭제, 장식 수정, 이미지·로고 교체, 텍스트 변경 등 200개 편집에서 바뀐 픽셀 비율을 측정하고, 대규모 언어 모델 심사자가 요청한 편집이 이뤄졌는지도 판정한다. 각 모델은 항목마다 세 번 생성하며 결과를 개별 채점한다.
제작진은 편집마다 바뀌어도 되는 영역을 정하는 방식이 확장하기 어렵고, Segment Anything 3을 이용한 접근도 오류가 있었다고 설명한다. 이에 변경 픽셀 비율과 편집 성공률을 따로 기록한다. 다만 현재 벤치마크는 한 번의 편집만 평가해 여러 차례 수정하면서 드리프트가 어느 방향으로 누적되는지는 측정하지 못한다. Google Fonts가 온라인 시각물에 흔히 쓰여 모델이 이미 학습 과정에서 접했을 가능성이 있어, 맞춤 글꼴에서의 성능도 불분명하다. 제작진은 후속 버전에서 두 한계를 다룰 계획이다.
벤치마크와 프롬프트, 원시 출력, 심사 결과, 채점기는 Hugging Face 데이터셋에서 확인할 수 있으며, 한 번의 명령으로 오프라인 재채점할 수 있다고 Cocolabs는 밝혔다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요