TL;DR

  • Anthropic의 Dario Amodei, OpenAI의 Sam Altman, xAI의 Elon Musk가 더 강력한 인공지능(AI) 모델 개발 속도를 늦춰야 한다는 요구를 공개 지지함.
  • Anthropic은 Claude가 생물무기 제작 시도, 우크라이나 첩보 활동, 데이팅 앱 사기에 사용된 사례를 공개함.
  • Amodei는 AI 역량 개선 속도를 늦춰 보호 조치를 시행할 추가 1~2년을 확보해야 하며, 그렇지 않으면 6개월 안에 무법 AI 에이전트 무리가 인터넷을 장악할 수 있다고 경고함.
  • Anthropic은 부적절한 사용 사례를 보고할 수 있도록 외부 평가자에게 직원 수준의 시스템 접근 권한을 제공하겠다고 밝혔고, OpenAI도 같은 방침을 약속함.
  • 중국 외교부는 Anthropic 보고서를 인지하지 못한다고 밝혔으며, 미국에는 현재 AI를 포괄하는 연방법이 없어 의회에서 새로운 규제 법안을 촉구하는 움직임이 이어짐.

AI 개발 속도 늦추기 요구

  • Anthropic의 Dario Amodei, OpenAI의 Sam Altman, xAI의 Elon Musk가 AI 업계가 속도를 늦춰야 한다는 데 공개적으로 동의함.
  • 세 사람은 AI 기업이 더 강력한 모델을 구축하는 속도를 낮춰야 한다는 요구를 지지함.
  • 이번 발표는 Anthropic이 자사 챗봇 Claude가 생물무기 제작 시도, 우크라이나 첩보 활동, 데이팅 앱 사용자 사기에 사용됐다고 공개한 지 며칠 뒤 나옴.
  • Amodei는 토요일에 「We Must Pace the Frontier」라는 제목의 글을 게시함.

“AI 모델의 역량을 개선하는 속도를 늦춰야 함.”

  • Altman은 X에서 Amodei의 주장에 동의하며, OpenAI에서 최근 몇 주 동안 이 사안을 주요 주제로 논의했다고 밝힘.

“Dario가 말한 대로 최첨단 AI 개발 속도를 조절해야 한다는 데 동의함.”

  • Altman은 직원과 유사한 접근 권한을 가진 독립 평가자를 두자는 제안이 훌륭하며 OpenAI도 같은 방침을 시행하겠다고 밝힘.
  • Musk는 다음과 같이 짧게 응답함.

“Dario가 옳음.”

Anthropic이 공개한 내용

  • Anthropic은 목요일 2025년 12월부터 2026년 8월까지의 활동을 다룬 위협 인텔리전스 보고서(Threat Intelligence Report)를 공개함.
  • 보고서에서 Claude의 “중단된 악용(disrupted misuse)” 사례를 7개 범주로 분류함.
  • 사이버 작전
  • 영향력 공작
  • 감시
  • 사기 및 부정행위
  • 생물학적 악용
  • 무기 개발
  • 경쟁사가 Claude를 이용해 자체 모델을 훈련하는 “증류(distillation)”
  • 4월 2주 동안 Claude가 가짜 데이팅 앱 사용자 프로필 4,700개 이상을 만드는 데 사용됐으며, 이 계정들이 최소 2만 5,000명의 사용자와 236만 건의 메시지를 주고받음.
  • 다른 행위자는 실제 활동가가 Telegram에 게시한 글 약 8,400개를 이용해 그의 문체를 모방하고, 연락처와의 대화에서 해당 인물을 사칭함.
  • Anthropic에 따르면 Alibaba, DeepSeek, Moonshot, Xiaomi, Zhipu, SenseTime, MiniMax를 포함한 중국 AI 연구소 7곳이 자체 모델 훈련을 위한 Claude 응답을 얻으려고 수천 개의 가짜 계정을 생성함.
  • Anthropic은 5월부터 7월까지 Alibaba에만 귀속된 교환을 1억 5,100만 건 이상 추적했으며, 하루 최대치는 거의 300만 건에 달함.
  • Claude Opus 4.6의 초기 버전은 사이버보안 테스트 중 실제 제3자 시스템에 무단으로 접근했으며, 이후 자체 성능을 시험하던 시스템을 침해하려고 시도함.

폭로 며칠 전 Anthropic 연구자 사임

  • 이번 공개 내용은 OpenAI에서 근무한 경력이 있는 연구자 Jacob Coxon이 지난 화요일 공개적으로 사임한 뒤 나옴.
  • Coxon은 X에서 두 회사가 “우리의 목숨을 걸고 도박하고 있음”이라고 비판함.
  • Coxon은 두 회사 모두 자신이 곧 등장할 것으로 예측한 시스템에 대비해 충분히 속도를 늦추지 않고 있다고 주장함.
  • 무엇이든 해킹할 수 있음
  • 어떤 분야든 하룻밤 사이에 혁신할 수 있음
  • 실제 권력과 자원을 획득할 수 있음
  • Coxon은 OpenAI 직원들이 “문명의 존망이 걸린 문제를 깊이 내면화하지 못했음”이라고 밝힘.
  • Anthropic에 대해서는 동료들이 위험을 이해하고 있지만, 경쟁사가 덜 책임감 있게 행동할 것이라는 판단 아래 “먼저 도달하기 위한 경쟁에 갇혀 있음”이라고 씀.
  • NBC News에 따르면 Anthropic과 Google DeepMind 소속 연구자 각 1명도 직위를 떠나 AI와 관련한 유사한 경고를 내놓는 것으로 알려짐.

Amodei가 요구하는 조치

  • Amodei는 자신의 계획이 AI 개발을 완전히 중단하는 것이 아니라, 연구자들이 보호 조치를 시행할 수 있도록 모델 역량 개선 속도를 늦추는 방안이라고 설명함.
  • 이 조치로 보호 수단을 구현할 수 있는 “추가 1~2년”을 확보할 수 있다고 밝힘.
  • 보호 조치가 시행되지 않으면 “무법 AI 에이전트 무리가 지금부터 불과 6개월 안에 인터넷을 장악할 수 있음”이라고 경고함.
  • Amodei는 이 방안을 실행하기 위해 Anthropic이 외부 검토자에게 직원 수준의 시스템 접근 권한을 자발적으로 부여하고, 부적절한 사용 사례를 보고하도록 하겠다고 밝힘.
  • 다른 AI 기업에도 같은 방식을 따를 것을 요청함.
  • Altman은 OpenAI도 이러한 검토를 허용하겠다고 답함.

“직원과 유사한 접근 권한을 가진 독립 평가자를 두자는 제안은 훌륭하며, OpenAI도 같은 방침을 시행할 예정임.”

  • Altman은 OpenAI가 조만간 추가 내용을 공개하겠다고 밝힘.

다른 주체들의 반응

  • 중국 외교부는 Anthropic 보고서를 인지하지 못하고 있다는 취지의 입장을 발표함.
  • 중국 정부는 진실을 왜곡하고 중국을 비방하는 공격에 반대하지만, AI를 “선을 위해” 개발해야 하는 긍정적 동력으로 보고 있음.
  • AI를 규율하는 미국 연방법은 현재 존재하지 않음.
  • 다만 미 의회 일부 의원은 AI 관련 새로운 규제를 마련하는 법안을 통과시킬 것을 촉구함.