새 보정법이 LLM 신뢰도와 남은 오류를 함께 점검한다

LLM 신뢰도를 보정하고 적용 여부와 남은 오류를 살피는 RADAR를 연구진이 제안했습니다. 여러 모델 체크포인트와 벤치마크, 분포 변화 조건에서 평가했습니다. 신뢰도 예측이 좋아져도 검토할 답을 더 잘 가려내지 못할 수 있습니다. 저는 이 간격이 눈에 들어옵니다. 점수를 맞추는 일과 사람에게 넘길 답을 고르는 일은 다르기 때문입니다.

LLM 출력의 불확실성을 검색한 근거와 대조하는 BOOTH와 같은 흐름에 이어집니다. BOOTH가 답을 근거와 맞춰 보는 층을 둔다면, RADAR는 신뢰도 보정 뒤 남는 오류와 위험 판정을 따로 점검합니다. 둘 다 모델의 확신 자체보다 실제 답의 신뢰성을 확인하려는 접근입니다.

이번 제안의 좋은 점은 점수 조정에서 멈추지 않는다는 것입니다. 보정이 실제로 위험을 낮추는지 살펴 적용 여부를 정하고, 특정 특징과 연관된 잔여 오류도 찾습니다. 신뢰도 숫자를 다듬는 데서 그치지 않고, 그 뒤에 남은 문제까지 확인 범위를 넓혔습니다.

연구진은 원시 점수 배분 47,400개를 재생했습니다. 짝지은 베팅(paired betting)은 배분의 42.95%에서 낮은 테스트 위험 후보를 골랐습니다. 비교 방식의 채택률은 15.09%였습니다. 이 수치는 후보를 고른 빈도이지, 실제 답변 오류가 그만큼 줄었다는 뜻은 아닙니다.

같은 질문 묶음에서 보정 전후의 신뢰도 점수와 사람 검토 대상으로 보낸 답을 따로 기록하십시오. 정답을 확인할 수 있는 표본에서 오답 중 검토 대상으로 올라온 비율도 비교하십시오. 점수가 더 잘 맞아도 그 비율이 그대로라면, 검토 판단은 나아지지 않은 셈입니다.

마지막으로 모델의 확신 점수를 믿었다가 답을 다시 확인한 때는 언제입니까?