Valen은 텍스트와 이미지, 동영상을 입력받는 오픈 의사결정 모델이다. 개발자는 모델을 내려받지 않고 빠른 시작 문서를 통해 이용할 수 있으며, 공개된 티켓 분류 평가는 제한된 조건의 과거 테스트 재생 결과다.
BANKING77 영어 데이터셋에서 77개 의도 분류를 대상으로 테스트 질문 1,276개를 평가했다. 검증 데이터에서 허용 오류율 목표를 정하는 방식으로 분류를 자동화하고, 나머지는 검토 대상으로 보내는 정책을 적용했다. 선택된 설정에서는 질문의 11.5%를 자동 처리했고, 자동 처리분의 관측 오류율은 0.7%였다. 95% 신뢰구간은 0.1~3.8%다. 88.5%는 검토 대상으로 남았다. 자동 처리된 147개 질문에서 오류는 1건이었다.
Valen 측은 검증 데이터에서 규칙을 고정한 뒤 테스트 결과를 함께 제시했다고 설명한다. 검증 데이터의 오류율 목표가 테스트나 실제 배포의 결과를 보장하지는 않는다. 이 평가는 Valen-0.8B의 공개 테스트를 과거 방식으로 재생한 것이며, 실제 서비스나 이미지·동영상 입력의 성능을 입증하지 않는다. 오차 막대는 점별 95% 윌슨 구간을 나타내지만, 질문 간 상관관계로 구간이 실제보다 좁게 계산될 수 있다고 자료는 경고한다.
원문은 원본 모델과 보정 모델의 신뢰도 지표도 비교한다. 기대 보정 오차(ECE)는 0.0819에서 0.0518로, 음의 로그 가능도(NLL)는 1.3564에서 1.3240으로, 브라이어 점수는 0.5062에서 0.4996으로 낮아졌다. 정확도는 두 경우 모두 63.5%다. ECE는 상위 후보 확률을 기준으로 폭이 같은 15개 구간을 사용했다.
다운로드한 매개변수는 과거 모델과 학습 방식에 맞춰져 있어, 각자의 업무에 적용하려면 다시 보정하고 검증해야 한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요