다이앤 프라우드풋(Diane Proudfoot), 샤론 템친(Sharon Temtsin), 크리스토프 바르트네크(Christoph Bartneck)는 튜링의 원래 구상을 해석해 실험으로 구현하고, GPT-4-Turbo를 시험했다. 37명 가운데 36명(97%)이 컴퓨터를 맞혀 이 모델은 연구진이 적용한 두 채점 기준 모두에서 테스트를 통과하지 못했다. 연구진은 기존의 ‘AI가 튜링 테스트를 통과했다’는 주장에 쓰인 실험들이 튜링의 설계와 다르다고 주장한다.

연구진이 재구성한 테스트

연구진은 튜링이 제안한 게임을 컴퓨터와 인간을 구별하는 2인 대결이 아니라 세 사람이 참여하는 게임으로 해석했다. 심문자는 서로 다른 방에 있는 두 참가자와 대화하고, 한 명은 컴퓨터, 다른 한 명은 인간이다. 어느 쪽이 인간인지를 선택해야 하므로 심문자가 매번 상대를 컴퓨터라고 단정하는 문제를 줄일 수 있다. 인간과 컴퓨터 모두와 대화하게 하면, 챗봇을 살아 있는 존재처럼 여기는 의인화 성향도 비교의 한쪽에만 작용하지 않게 할 수 있다는 설명이다.

연구진은 튜링의 ‘사람을 흉내 내는 컴퓨터’ 게임을 성별 흉내 내기로 보지 않고, 인간을 흉내 내는 게임으로 해석한다. 튜링이 게임을 소개하며 남성이 여성을 흉내 내는 상황을 먼저 설명했지만, 논문에서 컴퓨터가 맡는 역할은 인간을 모방하는 것이라는 해석이다. 성별 게임은 별도의 비교 기준으로 실험에 포함했다.

튜링이 컴퓨터가 5분 동안 대화한 뒤 심문자를 30% 이상 속일 수 있을 것이라고 예측한 대목도 합격 기준으로 보기는 어렵다고 연구진은 주장한다. 그 문장은 테스트 규칙이 아니라 미래에 대한 예측이라는 것이다. 논문은 채점 방식으로 세 해석을 검토한다. 5분 대화에서 30% 이상 속이는 기준은 튜링의 명시적 규칙으로 보기 어렵고, 우연 수준의 정답률을 기준으로 삼는 해석은 튜링의 발언만으로 뒷받침하거나 배제하기 어렵다. 반면 컴퓨터-인간 게임에서 심문자가 사람 흉내 게임에서보다 더 잘 맞히지 못해야 한다는 비교 방식은 튜링의 설명과 부합한다고 본다.

게임은 미리 정한 시간에 끝내지 않고 심문자가 판단할 때까지 진행해야 한다는 것도 연구진이 강조한 설계 요소다. 또 대화 기록만 보여주는 방식보다 질문을 이어가고 답변의 근거를 요구하는 구술시험에 가까운 대화가 중요하다고 본다. 이를 통해 모델이 외운 듯한 답을 내놓는지, 질문에 맞춰 설명하고 정당화하는지를 살필 수 있다는 주장이다. 심문자는 AI나 컴퓨터의 작동 방식에 전문성이 없는 사람으로 제한해야 한다고도 제안한다. 전문 심문자가 일상적인 대화와 거리가 먼 질문으로 모델을 곤란하게 만들면, 지속적이고 만족스러운 대화를 평가하려는 취지가 흐려질 수 있기 때문이다.

컴퓨터가 빠르게 답하거나 철자를 완벽하게 쓰는 등 지능 판단과 무관한 특성은 감춰도 된다고 연구진은 설명한다. 튜링은 기계가 일부러 실수를 하거나 답변을 늦추는 것을 허용했다. 연구진은 이를 ‘인위적으로 서툴게 만드는 결함’이라기보다 외모나 완벽한 철자처럼 지능과 무관한 요소가 판정에 영향을 주지 않도록 하는 조치로 해석한다. 다만 관련 없는 특성을 감추는 것과 실제 능력의 부족을 감추는 것은 구별해야 한다고 덧붙인다.

실험 결과와 한계

실험에서 GPT-4-Turbo는 영어권 대학생처럼 구어체와 관용 표현을 쓰고, 자신이 기계가 아니라고 말하며, 답변을 늦추도록 지시받았다. 심문자는 대화 주제를 자유롭게 고르고, 확신이 들 때까지 대화했다. 연구진은 AI 또는 AI 철학에 전문성이 있다고 볼 만한 심문자와 참가자를 제외했다. 성별 흉내 게임에서도 세 사람이 대화하는 방식을 적용했으며, 성별에 따른 상호작용이나 의사소통 방식에 익숙할 수 있는 참가자는 제외했다.

인간을 흉내 내는 게임에서 37명 중 36명이 컴퓨터를 정확히 찾아냈다. 따라서 평균 심문자의 정답률이 우연 수준보다 유의미하게 높지 않아야 한다는 제임스 무어의 기준에서 GPT-4-Turbo는 통과하지 못했다. 성별 흉내 게임에서는 37명 중 16명(43%)이 남성을 맞혔다. 인간 모방 게임의 심문자들이 성별 게임의 심문자들보다 훨씬 정확했으므로, 두 게임의 판정 결과를 비교하는 잭 코플랜드의 기준을 적용해도 통과하지 못했다.

대화 시간도 5분 기준에 의문을 제기한다. 인간 모방 게임 심문자 37명 가운데 33명(89%)은 판단에 5분 넘게 걸렸다. 평균 진행 시간은 14분, 최장 시간은 46분이었다. 성별 게임은 평균 24분, 최장 49분이었다. 연구진은 5분, 나아가 15분 제한도 심문자의 판단을 방해하고 결과를 무효화할 가능성이 있다고 본다. 다만 이 실험에서 GPT-4-Turbo의 성능이 매우 낮았기 때문에, 대화가 길어져도 심문자 판단이 달라지지 않았을 가능성은 남는다.

연구진은 모델 하나와 프롬프트 하나만 시험했다. 다른 모델이나 프롬프트는 더 나은 결과를 낼 수 있으며, GPT-4-Turbo보다 최신 모델이 같은 게임에서 어떤 성과를 낼지는 실험으로 확인해야 한다고 밝혔다. 성별 모방 게임이 인간 모방 게임보다 더 엄격하다는 기존 주장도 이번 실험 결과로 뒷받침되지 않았다. 연구진은 이 결과가 모든 대규모 언어 모델의 한계를 입증하는 것은 아니며, 다른 모델·프롬프트·참가자를 이용한 반복 실험이 필요하다고 강조한다.

논문은 튜링 테스트의 세부 설계와 실험 결과를 제시하며, 이를 통과했다고 주장하려는 AI 실험은 해당 설계에 맞춰 시험해야 한다고 제안한다. 연구의 기술 사양과 데이터, 분석은 Temtsin 등 2025년 연구에서 확인할 수 있다. 원 논문은 Philosophy of Science에서 공개됐다.