라이런 셰퍼 등은 min-p 우위 근거가 부족하다고 분석했다

세 연구자는 min-p가 기존 방식보다 낫다는 근거가 부족하다고 분석했습니다. 라이런 셰퍼(Rylan Schaeffer)와 조슈아 캐즈던(Joshua Kazdan)이 공동 저자입니다. 예고르 데니소프블랑치(Yegor Denisov-Blanch)도 공동 저자입니다. 기존 논문 저자들의 직접적인 반론은 이 기사에 없어, 저는 어느 쪽이 옳은지 모릅니다. ‘더 낫다’는 주장보다 평가 근거가 부족하다는 지적이 제게 오래 남습니다.

Viridian의 GPT-5.6 Sol 비교에서도 답변 순서를 바꾼 뒤 선택이 대체로 유지됐지만, 체계적 위치 편향을 입증할 근거는 부족했습니다. 두 사례는 모델 선택의 인상보다 평가 방식이 결론을 좌우할 수 있음을 보여 줍니다.

세 연구자의 분석대로라면 min-p가 나쁘다는 뜻이 아니라, 기준선보다 낫다는 주장을 뒷받침할 근거가 부족하다는 뜻입니다. 기존 논문에서 커뮤니티 채택 근거로 든 저장소 4만9천 개와 별 110만 개는 근거를 확인하지 못해 삭제됐습니다. 채택 수치가 빠지면 ‘널리 쓰인다’는 말만으로 성능 향상을 기대할 수 없고, 사용자는 직접 비교할 과제를 떠안습니다.

재분석은 사람 평가와 자연어 처리(natural language processing) 벤치마크를 다시 살폈습니다. 하이퍼파라미터(hyperparameter) 수를 맞춘 비교도 했습니다. 그 비교에서 min-p는 기준선(baseline)을 앞서지 못했습니다. 저자들은 심판 평가의 방법 설명과 결과 보고가 불분명하다고 지적합니다.

현재 설정과 min-p를 같은 모델과 입력으로 비교해 보십시오. 설정 이름은 가리고 품질과 다양성을 따로 기록한 뒤, 여러 입력에서도 같은 쪽이 반복해서 나은지 확인하십시오.

마지막으로 생성 설정을 바꾼 뒤, 같은 입력과 기준으로 이전 설정과 비교하신 때는 언제입니까?