원문 캡처 · kapa.ai
원문 캡처 · kapa.ai

Kapa는 자사 기업 지식 검색 데이터로 재랭커를 비교한 결과 Voyage AI의 rerank-3가 정확도 점수, 비용, 지연 시간에서 모두 앞섰다고 밝혔다. Jev도 Cohere와 Qwen 모델을 앞섰지만, Kapa는 실제 운영 환경에서는 Voyage를 계속 사용하기로 했다.

turbopuffer의 에리크 카우니스매키(Erik Kaunismäki)는 TypeSafe AI의 Jev가 전용 재랭커보다 높은 점수를 냈다고 소개했다. DevX Labs는 Jev가 가장 빠르고 저렴했지만 정확도는 12위였다고 보고했다. Kapa는 자사 고객의 복잡한 기업 지식 데이터에서도 결과가 비슷한지 확인했다.

평가에 사용한 Company Knowledge Bench에는 실제 운영 환경의 검색 질의로 만든 사례 1,000개가 담겼다. 각 사례에는 질문이 입력된 시점의 지식 베이스와 완전한 답변에 필요한 문서 조각을 표시한 기준이 포함됐다. 데이터는 제품 문서, Slack 대화, 지원 티켓, 위키, 코드로 구성돼 오래된 페이지와 서로 모순되는 정보도 포함한다. Kapa는 학술 벤치마크가 실제 트래픽과 다르다고 보고 자체 평가 데이터를 만들었다. 점수는 재정렬된 상위 10개 문서 조각이 기준에 포함된 정보를 얼마나 다루는지 측정하며, 일부만 찾은 경우에도 부분 점수를 준다.

이 시험은 실제 운영 방식이 아니라 재랭커 비교를 위한 설정이다. 각 질문을 대규모 언어 모델(LLM)이 검색 질의 3개로 나누고, 질의마다 상위 30개 문서 조각을 가져와 reciprocal rank fusion으로 합친 뒤 상위 50개를 재랭커에 전달했다. 재랭커가 돌려준 상위 10개를 평가했다. Jev는 문서 조각마다 한 번씩 호출해야 해 후보를 50개로 제한했으며, Kapa는 이 크기가 일반적인 재랭킹 후보 집합에도 해당한다고 설명했다.

비교 대상은 Voyage rerank-2.5와 rerank-3, Cohere rerank-v3.5·v4.0-fast·v4.0-pro, OpenRouter를 통해 사용한 오픈소스 Qwen3 reranker 8B, 그리고 Jev 1.13의 두 가지 설정이다. Jev는 재랭커 전용 모델이 아니라 상태와 질문, 라벨을 받아 라벨별 확률 분포를 내놓는 범용 의사결정 모델이다. Kapa는 이를 두 방식으로 순위화했다. Noul은 문서 조각이 관련 있는지 예·아니요로 묻고 ‘예’ 확률로 정렬한다. Score는 관련도를 여러 단계로 나눠 각 단계의 확률을 점수로 환산한 뒤 기대값으로 정렬한다. turbopuffer도 Score 방식을 사용했다.

Voyage rerank-3는 점수 0.535, 질문 1,000개당 1.91달러, 중앙값 지연 시간 0.18초를 기록했다. 세 항목 모두에서 이를 앞선 다른 재랭커는 없었다. Jev의 Noul은 0.519점으로 Cohere의 최신 모델인 rerank-v4.0-pro의 0.506점을 넘었고, 비용도 1,000개당 2.49달러로 3.42달러보다 낮았다. 지연 시간은 0.30초로 Cohere 모델의 0.77초보다 짧았다.

Jev의 두 설정은 점수 차이가 거의 없었다. Noul은 0.519, Score는 0.516이었고, Score의 비용은 질문 1,000개당 2.82달러로 조금 더 높았다. Kapa의 데이터에서는 등급을 세분화한 방식이 순위 개선으로 이어지지 않았다. Qwen3 reranker 8B는 Voyage보다 비용이 4.3배 높고 처리 시간이 14배 길었으며, 순위는 뒤에서 두 번째였다. 모든 모델에 동일한 문서 조각 50개를 주고 순서만 바꿨는데도 최고 점수는 최저 점수보다 18% 높았다(0.535 대 0.454).

Kapa는 벤치마크마다 결과가 다를 수 있으므로 재랭커를 고를 때는 자체 데이터로 시험해야 한다고 밝혔다. 평가 결과를 기준으로는 Voyage를 선택했으며, 루브릭으로 조정할 수 있는 재랭커를 원한다면 Jev도 검토할 만하다고 덧붙였다. Cohere 비용은 청구 단위를 기준으로 했고, Qwen3 reranker 8B는 OpenRouter에서 이용 가능한 조건으로 측정했다. Kapa는 Qwen을 직접 호스팅하면 비용과 속도가 개선될 가능성이 높다고 설명했다.

참고 자료: turbopuffer의 에리크 카우니스매키가 소개한 Jev 결과, TypeSafe AI의 Jev 소개, DevX Labs의 Jev 평가, Company Knowledge Bench 설명, Voyage 재랭커 문서, Cohere 재랭커 개요, Qwen3 reranker 8B, OpenRouter의 Qwen3 reranker 8B.