AI는 온라인 사기와 사이버 범죄를 키우는 한편, 잠재적 피해자를 보호하는 데도 동원되고 있다. 여러 나라 정부는 국경을 넘나드는 범죄를 단속하는 데 어려움을 겪어 왔다. 이에 사기범에게 대량으로 자동 대응해 자원을 낭비하게 하는 등 다른 방법을 찾으려는 시도가 나왔고, 이제 AI 플랫폼이 이런 실험을 사이버 범죄 대응 도구로 발전시키고 있다.

그리스 신화 속 기만의 여신에서 이름을 딴 호주 기업 Apate는 지난 2년 동안 전화 사기범의 전화를 AI 봇에게 연결하는 시스템을 개발해 왔다. 봇은 사기에 넘어가지 않으면서 대화를 최대한 오래 이어가도록 훈련받았다. 사기범이 계속 통화할 만한 기대를 품게 하는 동시에, 이들이 벌이는 사기에 관한 정보를 모으는 것이 목적이다.

Apate의 창업자 겸 CEO인 달리 카파르(Dali Kaafar)는 사기범에게 “완벽한 피해자”를 만들고 있다고 말한다. 사기범이 봇이나 에이전트와 통화하는 1분은 자동 발신 도구를 쓰는 사기범이 수백, 어쩌면 수천 명에게 연락할 시간을 줄여 잠재적 피해자를 보호하는 1분이라는 설명이다.

카파르에 따르면 은행이 사용하고 통신사가 지원하는 Apate 플랫폼에는 약 35만 개의 봇이 있다. 봇은 전화를 받는 것뿐 아니라 온라인 사기 채팅방에 들어가거나 문자 메시지에 답한다. 사기범을 지치게 하는 동시에 정보를 수집하기 위해서다. 회사는 실시간으로 사기 URL, 자금 세탁에 이용되는 계좌, 은행 정보 등 사기범 관련 정보 25만 건 이상을 모았다고 카파르는 밝혔다.

봇마다 성격과 언어 능력, 프로필이 다르다. 사기범이 상대가 AI라는 사실을 알아채지 못하게 하려는 설계다. 카파르는 “실제 사람처럼 봇도 WhatsApp을 쓰기도 하고 쓰지 않기도 한다. 전화를 받기도 하고, ‘나중에 다시 연락할게요’라고 말하며 사기범의 전화를 끊기도 한다”고 말했다.

Kernel Panic은 사용자가 사기범 역할을 맡아 Apate의 AI ‘피해자’와 대화하는 데모를 시험했다. 각 인물은 적당히 의심하면서도 사기범이 설득을 이어갈 여지를 남기도록 설계됐다. 시험 참가자들은 대화에서 이런 역학을 즉시 느꼈고, 매우 답답했다고 전했다.

사기범은 이런 식의 의심스러운 반응에 익숙할 가능성이 높다. 카파르는 Apate의 통화가 2시간 넘게 이어지는 경우도 있다고 말했다. 시험에서 Apate 시스템은 적극적으로 반응했고 대화의 속도도 자연스러웠다. 참가자 둘은 친구 ‘루시’와 그녀의 재무 상담사 ‘미키’ 역할을 번갈아 맡아 AI를 상대했다. 6분 동안 공을 들였지만 AI를 설득해 가상화폐 투자에 나서게 하지는 못했다.

봇을 대규모로 운용하더라도 다음 사기 전화나 문자를 받는 것은 시간문제다. 사이버 범죄자들은 해마다 수십억 건의 메시지와 전화를 보내며, 가장 정교한 조직은 산업 규모의 사기 단지를 운영한다. 사기범을 유인해 대응하는 전문가와 사기 조직에 침투하는 활동이 수년 동안 억제에 중요한 역할을 해 왔지만, 법 집행기관과 연구자들의 노력만으로 온라인 사기의 전반적인 확산을 막지는 못했다.

AI는 사기범뿐 아니라 사기 대응에도 새로운 시대를 열 수 있다. 경찰, 소셜미디어 기업, 은행과 다른 업계 사이의 정보 공유를 개선해야 하며, AI 기반 모니터링과 데이터 분석이 여기에 도움을 줄 가능성이 있다. 사이버 범죄자의 ‘심리적 취약점’을 이용해 활동을 방해하려는 시도도 이어지고 있다. 랜섬웨어 공격 배후를 직접 조롱하는 심리전도 있었다. 사기범과 사이버 범죄자의 활동을 방해하려는 관심이 커지면서, 생성형 AI로 이들을 붙들어 두고 자원을 낭비하게 해 다른 공격을 막으려는 방법이 효과를 내는 것으로 보인다.

허니팟(honeypot)도 한 사례다. 기업과 보안 연구자들은 해커를 유인하고 시간을 낭비하게 하며, 정보를 모으고 비밀 해킹 기법을 파악하기 위해 가짜 가상 머신을 수년간 배치해 왔다. ETH Zurich 컴퓨터과학부 박사과정 연구자인 마크 베로(Mark Vero)는 오픈소스 허니팟 제공업체들이 시스템을 더 현실적으로 보이게 하려고 대규모 언어 모델(LLM)을 점점 더 많이 도입하고 있다고 말했다.

베로와 동료들은 최근 연구에서 LLM을 활용한 허니팟이 예측 가능한 방식으로 동작하는 허니팟보다 AI 에이전트의 공격을 “상당히 더 오래” 끌어냈다고 밝혔다. 베로는 “에이전트형 공격자는 LLM이 시뮬레이션한 허니팟을 훨씬 더 실제처럼 받아들이며, 이를 허니팟이라고 판별하는 비율도 훨씬 낮다”고 말했다. “이런 시스템을 충분히 잘 만든다면 방어자에게 상당한 이점이 될 것이라고 생각한다.”