TL;DR

  • 뉴질랜드 성인 66%가 AI로 만든 가짜를 알아볼 수 있다고 믿지만, 민감 정보를 AI 도구에 공유하거나 공유를 고려한 비율도 40%에 달해 자신감이 실제 행동으로 뒷받침되지 않는 ‘AI 자신감 함정’이 나타남.
  • Avast의 2026 Safe Tech Report에 따르면 응답자의 21%가 이력서를, 또 다른 21%가 업무 문서를 AI 도구에 공유했거나 공유를 고려한 경험이 있음.
  • AI 도구는 편리성을 이유로 의료 기록과 금융 기록까지 업로드하게 만들며, 입력 정보가 모델 훈련에 사용되거나 기업에 귀속될 수 있어 익명화와 정보 최소화가 필요함.
  • AI 기반 딥페이크는 화상회의에서 최고경영자와 최고정보책임자를 모방해 2,000만 달러 송금을 지시할 정도로 정교해짐.
  • AI가 사기 메시지와 가짜 웹사이트를 더 빠르고 설득력 있게 제작하면서 과거의 오탈자와 어색한 문맥만으로 사기를 식별하기 어려워짐.

AI 가짜 식별 자신감과 실제 행동의 격차

  • 사이버 보안 기업 Avast의 2026 Safe Tech Report는 뉴질랜드 성인의 66%가 AI로 만든 가짜를 알아볼 수 있다고 믿는다고 밝힘.
  • 그러나 40%는 민감한 정보를 AI 도구에 공유했거나 공유를 고려했다고 인정함.
  • 21%는 이력서를 공유했거나 공유를 고려함.
  • 21%는 업무 문서를 공유했거나 공유를 고려함.
  • 보고서는 이러한 자신감과 행동의 불일치를 ‘AI 자신감 함정’으로 설명함.
  • 사람들은 신속한 행동을 압박하거나 믿기 어려울 정도로 좋은 제안을 내세우는 등 전형적인 사기 경고 신호를 알고 있을 수 있지만, 실제로는 그 신호를 스스로 합리화해 넘길 수 있음.
  • 이 현상은 AI 시대의 온라인 안전 상태에 대한 문제를 제기함.

민감 정보 공유와 AI 도구의 위험

  • Avast의 Stephen Kho는 사람들이 AI가 가짜를 생성할 가능성을 알고 있음에도 AI 자신감 함정에 빠진다고 Nine to Noon에 설명함.

“편리하기 때문에 우리는 AI 도구를 사용하며, 주로 미국과 중국에 있을 가능성이 있는 해외 호스팅 공개 AI 도구에 의료 기록과 금융 기록을 포함한 민감한 데이터를 업로드함.”

  • AI 도구가 계획 수립, 식별, 진단을 돕는 편리한 기능을 제공하기 때문에 사용자가 민감한 정보를 업로드하게 됨.
  • AI에 문서를 업로드하는 행위는 인터넷에 문서를 업로드하는 것과 매우 유사하며, 해당 정보가 모델 훈련에 사용될 수 있음.
  • Kho는 AI와 공유하는 정보를 줄이고 신중하게 공유해야 한다고 설명함.

“세부 약관을 보면 제공한 정보가 사용될 수 있으며, 결국 해당 기업의 소유가 될 가능성이 있다는 내용이 담겨 있음.”

  • 금융 정보와 같은 내용을 AI와 공유하려면 먼저 개인정보와 사적 정보를 제거해 익명화하고, 정보가 본인에게 추적되지 않도록 해야 함.
  • Kho는 거리에서 만난 사람에게 건네는 것이 불안한 정보라면 AI 챗봇에도 제공해서는 안 된다고 설명함.

“AI 챗봇은 비밀을 지켜주는 친구나 개인 전문가가 아니며 법적 의무를 서명한 상대도 아니고, 인터넷상의 AI 봇일 뿐임.”

  • AI 플랫폼의 보안 설정이 불안정하면 정보가 공개적으로 접근 가능한 해킹 데이터에 들어갈 수 있으며, 해당 데이터가 인터넷에서 거래되거나 사기에 활용될 가능성이 있음.

AI 도구로 식별이 어려워지는 사기

  • Kho는 AI가 영상과 음성을 포함한 딥페이크를 가능하게 만들었다고 설명함.
  • 최근 발생한 중대한 해킹 사례에서는 한 사람이 회사의 자금 이체를 처리한 직후 한밤중에 연락을 받고, 최고경영자(CEO)와 최고정보책임자(CIO)가 참여한 화상회의에 초대됨.
  • 회의 참가자들은 비밀리에 진행되는 마지막 순간의 거래라며, 비밀 인수합병을 위해 2,000만 달러를 특정 계좌로 이체하라고 지시함.
  • 피해자는 화상회의에 등장한 사람들이 이사회에서 알고 지내던 인물이라고 판단해 지시에 따랐지만, 실제로는 CEO와 CIO를 정교하게 모방한 가짜 영상이었음.
  • 과거에는 가짜 문자메시지, 페이스북 메시지, 이메일에 잘못된 철자나 문법이 포함되거나 문맥이 어색한 경우가 많아 식별이 상대적으로 쉬웠음.
  • 현재는 AI로 인해 사기의 제작 속도와 품질이 높아지고, 사용자가 익숙한 상점을 모방한 가짜 웹사이트도 실제처럼 만들어져 식별이 매우 어려워짐.