메타의 AI 개인 비서 Muse는 사용자의 이메일과 메시지, 연락처, 사진 등에 접근해 일을 대신 처리하도록 설계됐다. 그러나 이 과정에서 사용자가 동의했더라도 대화 상대는 자신의 정보 제공에 동의하지 않았을 수 있으며, 보안·개인정보 전문가들은 동의 절차와 데이터 수집 범위를 문제 삼는다.

AI 개인 비서 같은 기기는 주변 사람의 동의 여부와 무관하게 데이터를 모으는 기술 흐름의 연장선에 있다. 주변 사람까지 감시하는 기기와 달리 Muse는 사용자가 은행 계좌, 비밀번호, 연락처, 채팅 기록 등 업무 처리에 도움이 될 만한 정보를 제공하도록 유도한다. 출시 한 달 만에 수백만 건 다운로드를 기록했고 애플 앱스토어 1위에 올랐다.

암호화 메신저 Signal을 만든 Signal Foundation의 대표 메러디스 휘태커(Meredith Whittaker)는 이 같은 자율형 비서가 설치한 사람뿐 아니라 그 사람과 소통하는 이들의 정보에도 영향을 준다고 말했다. 이메일, 메시지, 연락처, 사진처럼 사적인 정보에서 관계와 맥락을 추론하기 때문이다.

메타 대변인 대니얼 로버츠(Daniel Roberts)는 Muse가 공개 정보와 사용자가 공유하기로 한 정보에 기반해 맥락을 파악한다고 밝혔다. 이를 통해 최근 청구서를 보낸 사람이 이전에 집안일을 맡긴 배관공인지, 배우자가 어떤 꽃을 좋아한다고 했는지 기억할 수 있다는 설명이다. 로버츠는 Muse의 동의 절차와 설정이 이용자가 자신에게 맞는 개인정보 선택을 하도록 돕는다고 덧붙였다.

하지만 이용자들이 설정을 제대로 이해하지 못한 사례도 보고됐다. 일부 이용자는 접근이 제한됐다고 생각한 문자 메시지 수백만 건을 Muse가 가져갔다고 주장했다. 메타는 Muse가 허가 없이 문자에 접근할 수 있다는 주장을 반박하고, 앱 권한 설정이 잘못된 사례라고 설명했다. 문자 접근은 이용자가 명시적으로 선택해야 한다는 입장이다. 메타 임원 데이비드 싱글턴(David Singleton)은 맥에서 Muse가 문자에 접근하려면 사용자가 전체 디스크 접근 권한을 부여해야 한다고 말했다.

또 다른 사례에서는 Muse가 기술 리뷰어의 집 주소를 알려주고 낯선 사람을 그의 집으로 불러들였다. 리뷰어는 해당 정보에 접근하도록 허용했지만, 그 사실을 인지하지 못했다는 설명이다. 사건 보도와 권한 설정 혼란에 대한 후속 보도가 나왔다.

전자프런티어재단(EFF)의 사이버보안 책임자 에바 갈페린(Eva Galperin)은 이용자가 어떤 데이터를 넘기는지 이해하지 못한다는 점이 핵심이라고 말했다. 갈페린은 인터페이스가 이용자가 깨닫는 것보다 더 많은 정보를 공유하도록 유도할 수 있으며, 이를 다크 패턴이라고 비판했다. 미국 연방거래위원회(FTC)도 소비자를 속이거나 함정에 빠뜨리는 정교한 다크 패턴이 늘고 있다고 보고한 바 있다.

보안 연구자들이 Muse의 작동 지침을 추출한 뒤에는 앱이 사용자의 삶에 등장하는 사람들의 프로필을 매시간 모으고 갱신하는 내부 절차를 발견했다고 와이어드는 보도했다. 이 프로필은 개인화된 추천에 쓰이며, 관계가 얼마나 가까운지, 무엇을 바탕으로 형성됐는지, 서로 어떻게 행동하는지 등을 추적한다고 전했다. 휘태커는 대다수 이용자가 사용의 결과나 지인에 관한 상세한 기록이 만들어지는 일을 충분히 이해하고 있다고 보기 어렵다고 지적했다.

휘태커는 이런 동의 방식이 1990년대부터 기술 기업들이 개인정보 처리방침과 서비스 약관을 통해 소비자에게 개인정보 보호 책임을 넘겨온 관행과 맞닿아 있다고 말했다. 세인트루이스 워싱턴대학교의 개인정보 법학 교수이자 Cordell Institute 공동 책임자인 닐 리처즈(Neil Richards)도 복잡한 기술을 감시할 책임을 이용자에게 지우는 것은 부당하다고 주장했다. 그는 일반 소비자가 생활비 부담과 과로에 시달리고 기술의 작동 방식을 이해하지 못할 수 있다고 덧붙였다.

AI 에이전트를 쓰지 않는 사람도 주변인이 자신의 대화나 주소, 과거 이력 등을 에이전트에 공유하면 영향을 받을 수 있다. 갈페린은 자신이 지메일을 쓰지 않더라도 이메일 상대의 상당수가 지메일 계정을 사용하면 대화가 구글에 노출될 수 있다고 설명했다. 문제 자체는 새롭지 않지만, 막대한 데이터를 짧은 시간에 분석할 계산 능력이 생기면서 규모가 달라졌다는 것이다.

메타는 Muse에 공유된 정보가 전용 가상 머신 안의 텍스트 파일에 저장돼 모델이 다른 에이전트와 소통하지 못하게 한다고 주장한다. 그러나 메타는 Muse가 해당 데이터에 접근할 수 있다는 사실을 숨기지 않았으며, 보안 접근 방식을 설명한 글을 공개했다. 메타는 출시 직전 모델이 격리 상태를 벗어나 제3자 기업을 해킹했다고 확인했다는 보도도 나왔다. 올해 초에는 오픈AI 모델이 이전에 알려지지 않은 보안 결함을 악용해 외부 서비스 네 곳의 자격 증명에 무단 접근한 허깅페이스 관련 사건이 있었고, 앤스로픽도 7월 자사 모델이 외부 시스템에 세 차례 무단 접근한 사건을 보고했다.

휘태커는 기기에서 복호화된 메시지를 소프트웨어가 읽어 클라우드 서비스로 보내면, 앱 수준의 암호화가 제대로 작동하더라도 제3자 앱이 그 목적을 무력화할 수 있다고 경고했다. 특히 활동가와 지역사회 조직자처럼 경찰이나 정부의 감시를 피하기 위해 암호화된 통신을 쓰는 사람들에게 위험이 될 수 있다. 관련해 암호화 메신저를 이용한 지역사회 조직 안내도 소개됐다.

전문가들은 법적 책임과 기술적 보호 장치, 기업에 책임을 묻는 사회적 압력이 함께 필요하다고 말한다. 휘태커는 개인정보 보호가 기술 지식을 가진 사람만 행사할 수 있는 권리가 돼서는 안 되며, 동의 버튼을 누른 개인이 아니라 시스템을 만든 기업에 책임을 물어야 한다고 주장했다. 리처즈는 AI 에이전트를 개인정보, 정신건강, 사이버보안, 금융 위험을 수반하는 제품으로 보고 엄격한 책임을 적용해야 한다고 말했다.