의미 질의 엔진은 대형 언어 모델(LLM)로 데이터 행을 판단해 답을 만드는 과정에서, 같은 질의를 반복해도 결과가 달라질 수 있다는 연구가 나왔다. 연구진은 SemBench, LRO-Bench, UDA-Bench의 텍스트·표 형식 작업을 각 벤치마크의 실행 도구로 다시 수행하고, 모델 호출 120만 건을 기록해 실행 간 변동을 분석했다.
옥티 하산자데(Oktie Hassanzadeh)와 다르마샹카르 수브라마니안(Dharmashankar Subramanian)이 2026년 10월 9일 arXiv에 제출한 논문에 따르면, temperature를 0으로 설정해도 모델과 작업에 따라 다섯 번 실행하는 동안 행별 연산 결과의 0.07~10.2%가 바뀌었다. 한 작업에서는 변동률이 24.0%에 달했다.
행 단위의 작은 차이도 최종 답에서는 커질 수 있다. UDA-Bench에서는 추출된 값 가운데 몇 퍼센트만 바뀌었지만, 답변은 약 3분의 2가 달라졌다. SemBench의 기존 결과에서도 실행에 따라 텍스트 결과의 품질이 달라진 사례가 21%였으며, 실행 계획이 결정적인 엔진에서도 이런 변화가 나타났다. 연구진은 벤치마크가 수행한 실행만으로는 질의별 시스템 비교 여러 건과 LRO-Bench의 구현 권고안에 대한 28개 검정 중 16개의 결론을 확정하기 어렵다고 분석했다.
연구진은 결과가 바뀌는 행에서 모델끼리도 서로 다른 판단을 내리고, 한 번의 실행 안에서 동일한 요청을 반복해도 실행 간 차이만큼 자주 의견이 갈린다고 보고했다. 투표 방식은 변동을 줄이지만 없애지는 못했다. 연구진은 벤치마크 결과를 보고할 때 반복 실행에 따른 변동을 반영하고, 엔진을 설계할 때도 이를 고려해야 한다고 제안했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요