슈퍼마켓 진열 사진 3장으로 4개 OpenAI 모델을 시험한 결과, 가장 성능이 좋았던 두 모델은 제품 진열 수를 정확히 셌지만 재고 보충이 필요한 빈자리를 꾸준히 찾아내지는 못했다. 이번 소규모 시험만으로 사람을 대체하기는 어렵지만, 진열 수를 세거나 사람이 확인할 사진을 고르는 보조 용도로는 활용할 수 있다.
시험은 tinybenchmarks로 진행했다. 세 사진을 바탕으로 제품이 진열된 수량, 빈 자리의 수와 제품 종류, 뒤집혀 놓인 제품, 요구르트 컵의 빠진 윗단 수를 묻는 다섯 가지 과제를 만들고, 각 모델에 세 차례씩 답하게 했다. 사용한 모델은 gpt-6-astra, gpt-6.1-sol, gpt-6-luna, gpt-4.1이다.
gpt-6-astra와 gpt-6.1-sol은 제품 진열 수를 묻는 두 과제에서 모두 정답을 냈다. 하지만 재고 보충이 필요한 빈자리를 세는 과제에서는 결과가 달랐다. gpt-6.1-sol은 빈자리 수를 9회 중 8회 맞혔고, 제품별 빈자리 수도 89% 정확했다. 다만 요구르트 윗단 과제에서는 세 번 중 한 번만 정답을 냈다. gpt-6-astra도 윗단이 빠진 컵 수를 세 번 모두 7개라고 답해 정답인 6개를 맞히지 못했다.
세 과제의 평균 오차는 모델별로 달랐다. 제품 진열 수 오차는 gpt-6-astra와 gpt-6.1-sol이 0%였고, gpt-6-luna는 0.50%, gpt-4.1은 1.50%였다. 빈자리 수 오차는 각각 0.44%, 0.33%, 1.7%, 2.00%였다. 이 수치는 각 과제를 세 번 실행한 결과의 평균이다. 세 GPT-6 모델은 reasoning_effort: high로 실행했고, gpt-4.1은 추론하지 않는다.
모델 운영 비용은 전체 15회 호출 기준으로 gpt-6-astra가 1.15달러, gpt-6.1-sol이 0.24달러, gpt-6-luna가 0.02달러였다. gpt-4.1의 비용은 제시되지 않았다. 시험을 진행한 사람은 당시 gpt-6.1-sol로 다섯 과제를 수행하는 비용이 약 8센트라고도 설명하며, 비용보다는 정확성과 신뢰성이 아직 더 큰 문제라고 봤다.
이번 시험은 사진 3장과 다섯 과제만 다룬 첫 점검이다. 결과를 일반화하기는 어렵지만, 현재 모델은 진열 수를 세고 사람이 검토할 사진을 표시하는 보조 역할을 할 수 있으며, 매장을 돌며 감사를 수행하는 사람을 대체할 정도로 빈자리를 안정적으로 찾아내지는 못했다. tinybenchmarks의 진열대 벤치마크에서 시험을 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요