Gemini 4 Argon이 ASL 질문 파일럿에서 앞섰다

미국 수어(ASL) 영상만 보고 질문에 답하게 한 21개 문항 파일럿에서 Gemini 4 Argon은 완료된 답변 중 69.4%가 의도한 질문과 일치했다. 다만 녹화 영상은 한 명의 수어 사용자에게서 나온 것으로, 이 결과만으로 ASL 사용자 전반에서의 성능을 판단할 수는 없다.

Syed Salman Qadri와 Rayan Syed Qadri가 공개한 예비 사례 연구는 수어를 영어로 번역하라는 지시 없이 영상 질문에 바로 답하도록 했다. 무음 영상 21개에 동일한 일반 프롬프트를 적용하고, Gemini 모델은 각 영상당 5회씩 실행했다. Meta Muse Wonder 1.0은 별도 1회 실행했다. 모든 모델은 HIGH 추론 설정을 사용했다.

완료 답변 중 의도 일치율은 답변이 나온 경우에만 질문의 핵심을 다뤘는지를 측정한다. 사실관계 전체를 검증한 지표는 아니다. 전체 시도 중 일치율은 미완료 응답과 API 오류도 실패로 계산한다. Argon은 105회 중 20회가 완료되지 않았다. 여기에는 HTTP 오류 4회, 토큰 한도 종료 13회, 종료 사유가 기록되지 않은 미완료 응답 3회가 포함된다. HTTP 오류 4회만 제외해도 Argon의 전체 시도 중 일치율은 59/101, 즉 58.4%다.

질문별 편차도 컸다. Argon은 21개 질문 가운데 6개에서 5회 모두 의도에 맞는 답을 냈고, 15개에서는 적어도 한 번 맞혔으며, 6개에서는 한 번도 맞히지 못했다. 예를 들어 ‘거품은 왜 둥근가’에는 표면장력과 구형의 표면적을 설명하며 5회 모두 질문에 맞췄다. 반면 비행기가 하늘에 머무는 이유를 묻는 질문에서는 답변이 모두 미완료 처리됐고, 완료된 한 답변도 틀렸다.

21개 질문 묶음을 2만 번 재표집한 완료 답변 일치율의 95% 백분위 구간은 Flash 0.0~15.7%, Pro 3.8~21.0%, Argon 52.6~83.2%였다. 이 구간은 질문 선택에 따른 변동을 나타내며, 미완료 응답에 따른 선택 편향이나 수어 사용자 다양성을 반영하지 않는다. 반복 실행은 독립적인 수어 사용자나 언어 사례를 추가한 것도 아니다.

평가 조건과 한계

영상에는 연구진이 설명한 여성 ASL 전문가 한 명이 등장하며, 질문의 영어 의도 라벨은 기여자의 댓글을 바탕으로 했다. 모든 영상에 대해 수어 사용자에게 별도로 확인받은 전사 기록은 문서화되지 않았다. OpenAI의 GPT-6 Astra가 336개 기본 응답을 라벨과 대조해 채점했으며, 채점 당시 모델 정체도 검토자에게 공개됐다. 짧은 ‘예/아니요’나 숫자만으로는 어떤 질문을 이해했는지 확인하기 어렵다는 이유로, 질문과 양립하더라도 진단력이 없는 답변은 불일치로 처리했다.

선택한 영상 3개에서 프롬프트에 ‘최소 30단어로 답하라’는 문장을 추가한 별도 후속 실험도 진행했다. Pro 6회와 Flash 2회, 총 8회 중 의도에 맞는 답변은 1회였다. 7개 답변은 길이 조건을 충족했고 1회는 시간 초과됐다. 이 후속 결과는 기본 비교 통계에 포함되지 않았으며, 긴 프롬프트가 일반적으로 성능을 높이는지 보여주지는 않는다.

영상은 1080p·약 30fps 원본에서 오디오를 제거해 사용했고, 자르기나 재인코딩은 하지 않았다. API에는 24fps 샘플링을 요청했지만 실제로 어떤 프레임이 선택됐는지는 확인할 수 없다. 연구진은 제공업체의 전처리와 모델 버전이 달라질 수 있고, Gemini 실행도 모델별로 순차 진행돼 응답 시간의 직접 비교에 한계가 있다고 밝혔다.

원본 영상과 식별 가능한 사진은 공개되지 않았다. 공개 저장소에서는 답변과 채점 결과를 확인하고 차트를 다시 계산할 수 있지만, 영상이 없어 같은 추론 실험을 재현할 수는 없다. 연구진은 이 결과를 탐색적 연구로 제시했으며, 배포된 ASL 통역기의 검증으로 보아서는 안 된다고 설명했다.

전체 시도와 채점 사유는 결과 모음에서 볼 수 있다. 기본 실험 데이터는 CSV와 JSON Lines로, 후속 실험은 CSV로 공개됐다. 데이터셋 저장소에는 질문, 프롬프트, 프로토콜과 분석 코드도 포함돼 있다. ASL에 관한 배경 자료로는 NIDCD 안내와 ASL STEM Wiki 논문을 참조할 수 있다.