VOYGR가 여섯 개의 AI 채팅 모델에 샌프란시스코 좌표를 주고 주변이 무엇인지 기억만으로 답하게 했다. 도심의 큰 지형은 비교적 잘 맞혔지만, 세밀한 거리 지도는 제대로 그리지 못했다.
100m 간격으로 도시를 나눈 시험에서 고추론 설정의 GPT-6 Astra는 86.4%, Gemini 4 Argon은 86.2%, GPT-6.1 Sol은 85.7%를 맞혔다. 이 시험은 정답을 물·공원·그 밖의 장소로 분류했다. 모든 지점을 ‘물도 공원도 아님’이라고 답해도 61%를 얻었다. 실행 비용은 Astra가 135.13달러, Argon이 26.62달러, Sol이 25.52달러였다. 비용은 VOYGR가 사용한 실행 환경 기준이며, Anthropic과 OpenAI는 절반 가격의 Batch API를 이용했다.
10m 간격으로 마리나 지역을 살핀 시험에서는 정답을 물·공원·건물·거리·기타로 나눴다. GPT-6 Astra, GPT-6.1 Sol, Claude Fable 5.1, Claude Opus 5.5는 Palace of Fine Arts의 석호 위치를 맞혔지만, 거리 모양은 전반적으로 약했다. 500m 정사각형 구역의 거리 점수는 GPT-6 Astra가 고추론에서 0.32로 가장 높았고, 같은 모델의 답을 무작위로 섞었을 때는 0.23이었다. 고추론 설정은 거리 점수를 0.01~0.03 높였지만 비용은 최대 3.6배 들었다.
결과에는 실행상의 제약도 있었다. Gemini 4 Argon은 고추론 설정에서 해당 구역 요청 25건 중 23건에 답을 내놓지 못했다. VOYGR는 OpenStreetMap을 정답 기준으로 삼았으며, 지도 자체의 오류도 모델 점수에 반영될 수 있다고 밝혔다. 표현 방식이나 좌표를 요청에 넣는 순서, 요청당 좌표 수가 달라지면 결과도 바뀔 수 있다. 주소에서 좌표를 찾는 정방향 지오코딩은 시험하지 않았다.
이번 시험은 좌표에 무엇이 있는지를 물었을 뿐, 특정 가게의 영업 여부를 다루지 않았다. VOYGR는 구체적인 장소 정보는 모델의 기억에 맡기기보다 조회해야 한다고 설명했다. 코드와 전체 답변, 정답 데이터는 GitHub 저장소에서 확인할 수 있다. 배경이 된 2023년 연구는 Gurnee와 Tegmark의 논문이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요