AI가 인용한 통계 10개 중 4개만 연구로 확인됐다

Trakkr Research가 ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews에 숫자를 묻는 질문 200개를 던지고 인용 경로를 추적한 결과, 통계 1,285개 가운데 40%만 같은 내용을 담은 연구에 도달했다. AI 답변에서 숫자를 인용할 때는 최초 출처에 그치지 말고, 그 출처가 다시 가리키는 자료까지 확인해야 한다는 조사다.

조사팀은 각 답변의 인용 페이지에서 시작해 최대 다섯 페이지까지 출처를 거슬러 올라갔다. 8%는 연구에 도달했지만 숫자나 맥락이 바뀌어 있었고, 40%는 출처가 잠겨 있거나 사라졌거나 해당 숫자를 확인할 수 없어 검증되지 않았다. 11%는 경로 어디에서도 연구를 찾지 못했다. 나머지 1%는 페이지가 열리지 않았다.

조사팀은 AI 모델이 분류한 경로를 더 강한 모델로 다시 판단하고, 무작위로 뽑은 경로 150개를 사람이 재확인했다. 사람은 모델이 놓친 원자료를 찾아냈다. 모델만으로 분류했을 때 연구에 도달한 비율은 23%였으며, 최종 수치에는 사람의 확인 결과와 불확실성 범위가 반영됐다. 40%의 95% 범위는 34~46%다.

답변에 붙은 인용이 원자료를 뜻하지는 않는다

숫자가 들어간 답변의 82%에서는 인용 페이지에 해당 숫자가 실제로 있었다. 하지만 숫자가 있다는 것과 그 숫자의 연구 근거를 확인할 수 있다는 것은 달랐다. 숫자 인용 페이지 가운데 연구 자체를 가리킨 경우는 21%뿐이었다.

첫 인용 페이지의 54%는 기업 블로그였고, 연구기관은 13%, 정부·공공기관은 7%였다. 연구기관이나 정부 페이지에서 출발한 경로는 61~62%가 같은 내용을 담은 연구에 도달했다. 기업 블로그와 통계 모음 페이지에서는 각각 37%, 35%였다. 연구기관에서 시작한 경로도 38%는 연구에 도달하지 못했으며, 전체 보고서를 양식 뒤에 감춘 경우가 자주 있었다.

연구에 도달한 통계 중에서도 17%는 전달 과정에서 맥락이 달라졌다. 바뀐 내용은 숫자 자체인 경우가 26%였고, 측정 대상 20%, 연도 17%, 출처 16%, 조사 대상 14%, 장소 4%였다. 숫자는 그대로여도 조사 대상이나 시점이 달라질 수 있다는 뜻이다.

챗GPT는 숫자를 덜 인용했고 출처 확인 비율은 높았다

각 AI의 무작위 표본은 ChatGPT 108개, Perplexity 277개, Gemini 300개, Claude 300개, Google AI Overviews 300개였다. ChatGPT는 답변당 인용 통계가 가장 적었고, 확인 가능한 연구에 도달한 비율은 가장 높았다.

ChatGPT를 제외한 네 서비스의 비율은 38~46%로 서로의 불확실성 범위가 겹쳐 순위를 매길 수 없다고 조사팀은 밝혔다. Google AI Overviews의 일상 검색 300개 답변에서도 40%가 연구로 확인됐다. 이 표본은 2026년 9월 25일부터 10월 25일까지 추적한 영어 검색 52,930건 가운데 통계가 포함된 답변에서 뽑았다.

같은 질문에 다섯 서비스가 모두 답한 경우에도 숫자는 자주 달랐다. 백분율을 답한 질문 71개 중 28개에서 네 개 또는 다섯 개의 서로 다른 수치가 나왔고, 31개에서는 최고값과 최저값의 차이가 20%포인트 이상이었다. 다섯 서비스가 같은 수치를 제시한 질문은 10개였지만, 추적한 5개 통계 중 연구로 확인된 것은 2개였다. 세 곳 이상에서 반복 인용된 통계 29개 중에도 연구에 도달한 것은 11개였다.

예를 들어 ‘후속 연락을 한 번만 받고 영업을 포기하는 영업사원 비율’이라는 질문에 다섯 서비스 모두 44%라고 답했다. 그러나 추적 경로는 연구가 아닌 자료에서 끝났다. 웹사이트 첫인상의 94%가 디자인과 관련 있다는 통계도 출발점은 2004년 연구였다. 이 연구는 영국 여성 15명이 건강 관련 웹사이트를 신뢰하지 않거나 거부한 이유를 살폈고, 그 발언의 94%가 디자인과 관련 있었다. 이후 이 결과는 모든 웹사이트 첫인상에 관한 사실처럼 바뀌어 전달됐다.

숫자를 사용할 때 확인할 점

통계를 인용하는 독자는 인용 페이지에서 멈추지 말고 링크를 따라 연구 원문에 도달하는지 확인해야 한다. 누가 조사에 참여했는지, 표본 규모와 조사 시점은 무엇인지도 살펴야 한다. 여러 AI가 같은 숫자를 말하더라도 이를 여러 개의 독립된 근거로 볼 수는 없다.

통계를 공개하는 쪽에는 숫자와 함께 조사 방법, 표본, 날짜, 원자료 링크를 같은 페이지에 제공하라고 조사팀은 권한다. 보고서를 양식 뒤에 감추지 않고 핵심 수치와 방법을 공개하고, AI가 실제로 어떤 페이지를 인용하는지도 점검할 필요가 있다고 덧붙였다.