TL;DR

  • 플로리다의 Carli Michelle Heller가 Claude를 일기처럼 사용하며 보안관 사무실을 공격하겠다는 글을 남겼고, Anthropic의 검토자가 이를 경찰에 신고해 중범죄 혐의를 받게 됨.
  • Claude의 안전 시스템이 해당 글을 표시해 사람 검토자에게 넘겼으며, 검토자는 신빙성 있는 위협이라고 판단함.
  • Anthropic은 사망이나 심각한 신체적 상해를 막는 데 필요하다고 판단하는 제한적 긴급 상황에서 사용자 정보를 공유할 수 있다고 밝힘.
  • 플로리다주 법률은 타인이 볼 수 있는 방식으로 살해·상해·총기 난사·테러 위협을 서면 또는 전자 기록으로 전달하면 2급 중범죄로 규정함.
  • 이번 사례는 챗봇 입력 내용이 비공개 일기처럼 보호되지 않을 수 있음을 보여주며, OpenAI와 Microsoft Copilot 관련 사례도 AI 대화·입력 내용의 신고 및 검토 문제를 드러냄.

Claude 대화가 경찰에 신고된 경위

  • 체포 보고서에 따르면 플로리다주 Bonita Springs의 Carli Michelle Heller는 9월 26일 보안관 사무실을 공격하겠다고 썼으며, 이후 Anthropic의 챗봇을 “일기”처럼 사용한다고 말함.
  • Claude의 안전 시스템이 해당 글을 표시해 사람 검토자에게 넘겼고, 검토자는 위협이 신빙성 있다고 판단해 법 집행기관에 신고함.
  • 회사는 사망이나 심각한 신체적 상해를 막기 위해 공개가 필요하다고 판단하는 제한적 긴급 상황에서 사용자 정보를 공유할 수 있다고 밝힘.
  • 보안관 대원들이 Heller를 확인하고 자택을 방문했으며, Heller는 별다른 저항 없이 구금됨. 이후 LCSO 정보 담당 형사가 수사를 맡음.

플로리다주의 위협 관련 혐의

  • Heller는 플로리다주 법률에 따른 서면 폭력 위협 혐의를 받음.
  • 플로리다주 법률 836.10조는 타인이 볼 수 있는 방식으로 살해·상해, 총기 난사 또는 테러 행위를 위협하는 서면·전자 기록을 보내거나 게시하거나 전송하는 행위를 2급 중범죄로 규정함.
  • Anthropic은 잠재적 위협이라고 판단하는 사안을 가볍게 다루지 않을 것으로 보임.

OpenAI 관련 사례와 법적 쟁점

  • 지난달 보도에 따르면 브리티시컬럼비아주는 캐나다주에서 발생한 총기 난사를 OpenAI가 막을 수 있었다는 주장과 관련해 OpenAI와 Sam Altman을 상대로 소송을 제기함.
  • 총격범인 18세의 전 학생 Jesse Van ⁠Rootselaar는 총기 폭력 관련 대화로 OpenAI 안전팀의 주의를 받은 적이 있으나, 대화 내용이 법적 신고 기준에 이르지 않아 OpenAI는 경찰에 알리지 않음.
  • 플로리다주도 6월 OpenAI와 Altman을 상대로 소송을 제기하며, ChatGPT가 2025년 Florida State University 총격 사건을 포함한 현실 세계의 피해에 기여했다고 주장함.

챗봇 입력 내용의 개인정보 문제

  • 이번 사건은 곤란한 상황을 초래할 수 있는 내용을 챗봇에 입력하기 전에 신중히 생각해야 한다는 점을 다시 보여줌. 챗봇은 내용이 사용자만 볼 수 있는 사적인 일기장이 아님.
  • 지난달 공개된 보도에 따르면 Microsoft Copilot 이미지 편집기를 검토하는 사람 작업자는 사용자의 프롬프트, 업로드 사진, 인공지능 생성 편집 결과물을 볼 수 있음.
  • 문서에는 검토 작업에 성적이거나 충격적이거나 잠재적으로 불법적인 자료가 포함된 사례가 일부 담겼으며, 검토자는 해당 콘텐츠를 신고하는 것이 아니라 결과물의 정확성을 평가함.