Bellingcat이 인터넷에 공개된 적 없는 사진 52장으로 여러 AI 모델의 위치 추정 능력을 시험한 결과, 일부 모델은 사람보다 빠르게 사진이 찍힌 지역을 좁혔다. 하지만 정확한 좌표를 자주 맞히지는 못했고, 추가 도구를 적용한 모델도 틀리는 경우가 있어 정밀한 위치 확인에는 사람의 검증이 여전히 필요하다고 분석했다.
이번 시험에는 Claude, Grok, Gemini, ChatGPT, Mistral, Kimi의 모델과 GeoSeer, GeoClip을 포함했다. 각 모델에는 사진작가의 위치를 나타내는 좌표 하나만 답하도록 요청했다. 사진은 메타데이터를 제거하고 별도 맥락 없이 제공했으며, 눈·안개·야간 촬영 사진과 눈에 띄는 랜드마크가 없는 사진도 포함했다. 모델은 제공업체의 검색·코드 실행·페이지 가져오기 도구를 사용할 수 있었고, 사진마다 최대 15분 동안 답변을 생성하도록 했다.
Bellingcat은 넓은 지역을 찾는 능력과 마지막 몇 킬로미터 안에서 정확한 위치를 좁히는 능력을 각각 평가했다. 52장 중 10장 이상을 실제 위치에서 1km 이내로 맞힌 모델이 여럿 있었고, 상위 모델들은 사진의 절반 이상을 25km 이내로 추정했다. Gemini 4 Argon은 Mean Log Score에서 가장 높은 점수를 받았으며, Claude의 Opus와 Fable은 두 평가 지표 모두에서 상위권이었다. Claude Sonnet은 Claude 모델 중 가장 낮은 성적이었지만 실제 위치에 꾸준히 근접했고, 시험 모델 가운데 답변도 가장 빨랐다.
비용과 속도까지 고려하면 Bellingcat은 API 요금 기준으로 Argon과 Opus가 정확도와 비용 사이에서 균형이 좋았다고 평가했다. Argon은 Opus보다 훨씬 느렸지만 비용은 비슷했다. Grok은 가장 비쌌고 성적은 중하위권이었다. 무료로 이용할 수 있는 GeoClip은 Claude Haiku보다 나은 성적을 냈다. 다만 GeoSeer-fast는 사진 52장 중 4장, Mistral-large-4는 1장에 답변을 거부했고, Kimi-k2.6은 1장에 좌표를 제시하지 못했다. Gemini 4 Argon은 한 사진에서 반복적으로 시간 초과가 발생했다.
Bellingcat은 Opus 5.5에 자체 개발 중인 지침과 도구를 더한 에이전트도 시험했다. 이 도구는 ESRI 위성 이미지 타일과 Bellingcat의 OpenStreetMaps 검색 도구에 접근하도록 설계됐다. 다만 추가 도구를 쓴 모델에는 시간 제한을 두지 않았기 때문에 일반 모델과 직접 비교할 수는 없다. 베네치아 사진 사례에서는 17개 모델 중 11개가 실제 촬영 위치에서 5km 이내로 답했지만, 정확한 카메라 위치 좌표를 제시한 것은 Bellingcat의 에이전트와 GeoSleuth뿐이었다. 두 시스템은 위성 이미지 타일을 내려받아 사진의 시각적 단서와 대조할 수 있었다. 다른 사례에서는 이들 역시 정확한 위치를 찾지 못했다.
Anthropic은 자사 Mythos 모델이 사진 6,000장을 대상으로 한 시험에서 중앙값 거리 오차 37.0km와 47.2km를 기록했고, 각각 23.7%와 23.1%를 1km 이내로 찾았다고 밝혔다. 하지만 Bellingcat의 시험과 직접 비교하기는 어렵다. Anthropic은 경쟁 GeoGuessr 이용자와 Google Street View 이미지를 기준으로 삼았고, 시험 이미지가 온라인에 공개돼 모델이 학습 과정에서 접했을 가능성을 배제할 수 없었다. Bellingcat은 데이터가 학습에 포함됐는지 불확실하다는 노트르담대학교 Lucy Family Institute for Data & Society의 부교수 연구교수 누노 모니스(Nuno Moniz)의 지적도 전했다. Bellingcat은 학습 데이터와의 중복 가능성을 줄이기 위해 직원과 자원봉사자 커뮤니티에서 받은 미공개 사진을 사용했다.
GeoGuessr 점수는 넓은 지역을 찾는 능력을 평가하지만, 실제 위치에서 500m 떨어진 추정과 5km 떨어진 추정을 충분히 구분하지 못할 수 있다. 또 Google Street View는 일부 국가와 도로에 한정되고, 주간의 선명한 이미지가 많으며 이용자가 화면을 돌려볼 수 있다. 따라서 이 게임의 점수만으로 접근이 어렵거나 영상 품질이 낮은 지역의 위치 추정 능력을 판단하기는 어렵다. Anthropic도 자사 시험이 인구가 적은 전장 지역에서 실시간에 가깝게 위치를 정밀하게 찾는 작업을 재현하지는 않는다고 밝혔다.
Bellingcat은 넓은 지역을 빠르게 좁히는 데 AI가 유용할 수 있지만, 모델이 자신 있게 잘못된 좌표를 내놓을 수 있다고 강조했다. 특히 군사·정보 분야에서는 잘못된 위치 정보가 치명적인 결과로 이어질 수 있으므로, 결과를 독립적으로 확인하고 정확한 지점을 특정하는 데 사람의 지식과 판단이 필요하다는 결론이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요