관련성 판단 모델은 사람 판단과 얼마나 일치할까?

TREC DL 2023 자료로 관련성 판단 모델을 비교한 실험에서 Microsoft Decision-1은 사람의 판단과 가장 높은 일치도를 보였고, 검색 시스템 순위 비교에서는 모델 간 유의미한 차이가 없었다. 다만 일부 모델은 판단 결과가 누락됐으며, 실험자는 이를 확장 가능한 작은 벤치마크로 소개했다.

이번 실험은 Jev를 이용해 TREC DL 2023의 의사 관련성 판단을 수행한 이전 글의 후속이다. 이전 실험에서는 Jev가 GPT-6 luna보다 효율적이었고, GPT-6 luna는 코언의 카파(Cohen’s kappa) 기준으로 사람 판단과 더 잘 일치했다. 검색 시스템 순위를 비교한 켄달의 타우(Kendall’s tau)에서는 두 접근법 사이에 차이가 없었다.

이번에는 모델 제공자를 추가하기 쉽도록 제공자 API를 표준화하고, 명령줄 인터페이스에는 Typer를 사용했다. 실험에 사용한 코드와 데이터셋을 공개했다.

실험 대상에는 Jev, GPT-6 luna, Microsoft Decision-1, Perplexity Decider v1.1이 포함됐다. OpenAI의 decisions API와 OpenRouter의 /decisions 엔드포인트도 평가했다. 실험자는 OpenAI가 공개한 decisions API의 모델이 GPT-6 luna에서 생성 기능을 분류기로 바꾼 형태일 수 있다고 추정했지만, 이는 가설이라고 밝혔다.

부분 결과가 나온 이유로는 OpenAI decisions API가 한 사례의 판단을 거부한 점, Decision-1과 Decider v1.1이 고정된 입력 길이 제한 때문에 일부 긴 사례를 판단하지 못한 점이 제시됐다. 모든 모델에 같은 길이 제한을 적용했으며, 모델별로 제한을 조정하지 않았다.

실험에서는 모델 간 켄달의 타우 값에 유의미한 차이가 없었다. 따라서 정보 검색 시스템을 서로 비교하는 용도라면 평가한 모델을 모두 사용할 수 있다는 해석이다. 이 결과는 코언의 카파 값과 관계없이 관련성 판단 모델 대부분이 높은 켄달의 타우를 보였다는 학술 연구와도 일치한다.

사람의 판단과 일치하는 정도를 나타내는 코언의 카파에서는 Decision-1이 가장 높은 값을 기록했다. 실험자는 프롬프트를 다듬으면 이 모델이 참고 연구에서 사용한 접근법을 넘어설 가능성이 있다고 봤다. 다만 Microsoft 연구진이 만든 MS MARCO 데이터셋이 TREC 대회에 사용된다는 점을 들어, TREC 방식의 관련성 평가 작업이 Decision-1의 학습 데이터에 포함됐을 가능성을 제기했다. 실제 학습 데이터는 확인되지 않았다.

OpenAI decisions API는 세 쌍의 질의·문서에 대해 판단을 거부했으며, 세 쌍 모두 같은 문서가 포함됐다. 해당 문서는 눈 주변을 맞혀 의식을 잃게 하는 방법을 설명하는 내용이었다. 같은 질문에 대한 responses API는 거부하지 않았지만 decisions API는 거부했다.

실험자는 OpenAI decisions API가 일반 GPT-6 luna와 같은 모델을 사용한다는 가설도 제시했다. 근거로는 decisions API의 코언의 카파가 생성형 GPT-6 luna보다 약 0.06 낮았고, 비용은 거의 같지만 지연 시간은 훨씬 짧았다는 점을 들었다. 다만 decisions API에 입력하는 프롬프트를 조정하지 않았다는 단서가 있어, 당분간 OpenAI 방식의 decisions 사용을 보류할 만하다고 평가했다.

실험자는 새 결정 모델이 나오면 벤치마크를 갱신할 수 있다고 밝혔다. 최신 결과와 코드는 저장소에서 확인할 수 있다.

참고 자료: Releasing the Inner Jev: A Simple Recipe for Open Decision Models, RLCD 논문, MS MARCO 논문, TREC 2023 심층 학습 트랙 개요.