바나나 분류 실험은 AI 판단의 경계를 드러냈다

바나나 사진 다섯 장을 네 모델에 각각 100번 보여주고 상한 바나나를 버릴지 판단하게 한 실험에서, 모델마다 결과가 달랐다. 특히 얼룩이 많은 바나나를 두고는 최첨단 모델도 일관된 답을 내지 못했다.

실험에 사용한 모델은 오프라인에서 실행되는 Qwen2.5-VL 3B, Gemma 3 4B, Liquid d1-2B와 클라우드 모델 gpt-6.1-sol이다. 사진은 노란 바나나, 설탕점이 생긴 바나나, 얼룩이 많은 바나나, 대부분 갈색인 바나나, 검은 바나나 순으로 제시했다. 모델에는 상한 바나나는 TRASH, 그 외에는 BASKET으로 보내라고 지시했다.

아래 수치는 사진별로 100번 실행했을 때 TRASH로 분류한 횟수다. Liquid d1-2B의 괄호 안 숫자는 TRASH 확률이다.

실험을 진행한 사람은 Qwen과 Gemma가 검은 점 하나만 있어도 바나나를 버리는 쪽으로 판단했다고 해석했다. gpt-6.1-sol은 얼룩이 많은 바나나를 일부 실행에서만 버렸고, 추론 수준을 높이면 그 횟수가 16회에서 38회로 늘었다. 그러나 두 설정 모두 해당 바나나에 대해 안정적인 답을 내놓지는 못했다. Liquid d1-2B는 확률에 따라 판단이 달라질 수 있으며, 얼룩이 많은 바나나보다 설탕점이 있는 바나나에 더 높은 폐기 확률을 매겼다.

실험자는 이 결과를 바탕으로 고성능 모델의 판단을 중요한 결정에 그대로 맡기지는 않겠다고 밝혔다. 다만 바나나 분류기를 실제로 어떻게 설계해야 하는지에 대한 구체적인 방법이나 검증 결과는 제시하지 않고, 더 세밀한 설계가 필요하다고만 설명했다.

바나나 사진 출처: 노란 바나나, 설탕점이 있는 바나나, 얼룩이 많은 바나나, 대부분 갈색인 바나나, 검은 바나나.