선택지 이름만 바꿔도 AI 의사결정이 흔들린다

Jev와 오픈 웨이트 모델 두 종을 시험한 연구에서 선택지 이름을 바꾸자 결정이 달라졌습니다. 출력은 모두 정해진 형식에 맞았는데도 그렇습니다. 저는 형식 검사를 통과했다는 사실만으로 판단까지 믿을 수 없다는 점이 오래 남습니다.

오해를 부르는 AI 요약이 사람의 사건 기억을 왜곡할 수 있다는 연구는 표현이 사람의 판단에 미치는 영향을 보여 줍니다. 이번 연구는 모델이 읽는 선택지 이름도 결정에 영향을 줄 수 있음을 드러냅니다. 두 연구는 대상과 과제가 다르지만, 표현이 결과를 바꿀 수 있다는 점에서 이어집니다.

질문과 상태, 정의 문구를 고정하고 이름과 정의의 연결만 바꿨습니다. 예·아니오 이름 조건의 결정 뒤집힘 비율은 0/1 대조군보다 최대 70.4%포인트 높았습니다.

이 결과는 과제별 정의를 쓴 1,200개 결정 과제와 세 모델에서 나왔습니다. 재배정 전 예·아니오 조건의 평균 곡선 아래 면적(area under the curve, AUC)은 93.8%였습니다. 재배정 뒤 이 값은 23.2%로 떨어져 우연 수준 아래가 됐습니다. 무작위 문자열 이름에서는 뒤집힘 비율이 중립 대조군과 비슷했습니다. 연구진은 예·아니오 이름의 긍정·부정 의미가 재배정 자체와 별도로 결정 불안정성에 영향을 줄 수 있다고 해석합니다.

자동 분류나 승인 규칙 하나를 골라 같은 입력과 정의를 둔 채 선택지 이름을 예·아니오와 0/1로 바꿔 결과를 비교해 보십시오. 형식 검사를 모두 통과해도 선택이 달라진다면, 출력 형식과 정의를 따른 판단을 따로 점검하십시오.

AI의 결정을 확인할 때, 선택지 이름의 의미와 출력 형식 가운데 무엇부터 살펴보십니까?