JevBench는 형식이 지정된 결정 모델을 비교하는 공개 벤치마크 사이트다. 모델과 데이터셋별 결과를 확인하고, 새 모델이나 데이터셋을 벤치마크에 제출할 수 있다.
결과 화면에서는 모델을 눌러 점수와 모델을 구할 수 있는 곳을 확인한다. 데이터셋 이름을 누르면 해당 데이터셋의 결과를 그래프로 볼 수 있고, 결과 표의 셀에 마우스를 올리면 구간과 커버리지를 확인할 수 있다.
데이터셋별 평균은 해당 데이터셋에서 모든 모델이 받은 점수의 평균이며, 범위는 0~100이다. 막대는 가장 낮은 점수부터 가장 높은 점수까지 나타낸다. 데이터셋마다 눈금이 다르므로 같은 측정 기준을 쓰는 데이터셋끼리 비교하는 편이 적절하다.
데이터셋을 제출할 때는 비교할 모델을 고르고, 모델을 추가할 때는 실행할 데이터셋을 고른다. 논문, PDF, 데이터셋, GitHub, 인용 정보에서 관련 자료를 확인할 수 있다. 원문은 모델과 데이터셋의 실제 점수, 제출 절차의 세부 조건, 벤치마크의 측정 방법을 밝히지 않는다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요