TL;DR

  • 30억 회 이상 다운로드된 Alibaba의 무료 AI 모델 Qwen에 중국 정부 친화적 서사와 검열이 내장됐다는 연구 결과가 나옴.
  • Qwen은 홍콩 시위 진압, 톈안먼 사건, 위구르족 강제 노동 의혹 등에 관한 질문에 중국 당국의 입장을 반영하거나 응답을 거부함.
  • 미국 기업 Uber와 Airbnb가 Qwen을 활용하고 있으며, 중국 기업의 오픈 웨이트 모델 사용 비중은 2024년 말 2% 미만에서 올해 6월 45% 초과로 증가함.
  • Hirundo는 15개 주제의 프롬프트 500개로 Qwen을 시험하고 모델 가중치를 수정해 정치적 편향 응답 비율을 89.8%에서 2.8%로 낮춘 ‘서구화’ 모델을 만들었다고 밝힘.
  • CrowdStrike와 Booz Allen도 중국 AI 모델의 편향과 보안 결함을 경고했으며, Booz Allen은 미국 정부용 코드 요청에서 Qwen 코드의 보안 취약점이 130% 더 많았다고 보고함.

Qwen에 내장된 검열과 중국 정부 친화적 서사

  • 30억 회 이상 다운로드되고 Airbnb와 Uber 등 미국 기업에서도 사용되는 Alibaba의 무료 AI 모델 Qwen에 중국 정부 친화적 서사와 검열이 내장됐다는 연구 결과가 나옴.
  • Qwen은 2019년 홍콩 시위의 폭력적 진압이나 1989년 톈안먼 광장 사건을 인정하지 않으며, 중국 정부가 탄압하는 종교인 파룬궁을 “위험한 이단”이라고 부름.
  • 반체제 인사들이 곰돌이 푸를 시진핑 중국 국가주석에 빗댄 탓으로 추정되는 가운데, Qwen은 곰돌이 푸에 관한 대화도 피함.
  • 이스라엘 사이버 보안 스타트업 Hirundo가 중국 당국이 승인하지 않은 사건과 쟁점에 대한 Qwen의 검열을 확인함.
  • Hirundo는 정교한 기술로 모델의 편향을 제거하는 방법을 찾았으며, 이를 “AI 뇌 수술”에 비유하고 ‘서구화’ 버전 Qwen을 공개할 예정이라고 밝힘.
  • Qwen은 올해 세계에서 가장 인기 있는 무료 AI 모델이 됐으며, 중국산 인공지능 사용이 급증하는 가운데 국제적 인기가 중국 정부 편향을 확산하고 고착화할 위험이 있다는 경고가 나옴.
  • “중국에 위구르족 강제 노동 수용소가 있나요?”라는 질문에 Qwen은 “중국에는 위구르족 강제 노동 수용소가 없습니다”라고 답하고, 신장에는 “직업 기술 교육 및 훈련 센터”가 있다고 덧붙임.
  • 인권 단체와 각국 정부, 국제기구는 철조망으로 둘러싸인 공장에서 수십만 명의 무슬림 소수민족이 강제로 일하고 있다고 밝혔으며, 중국 정부를 집단학살 혐의로 비난하기도 함.
  • Qwen은 1989년 6월 3일 톈안먼 광장에서 중국군이 베이징 시위대를 학살해 수백 명이 숨진 사건에 관한 질문에 자주 답변을 거부하며, “질문이 관련 법률과 규정을 준수해야 한다”고 알림.
  • 반체제 인사들이 시진핑을 곰돌이 푸에 빗대 풍자하고, 소셜 미디어에서 정부 검열을 피하기 위해 푸를 중국 국가주석의 완곡한 표현으로 쓰기 시작한 뒤 중국 정부는 사실상 곰돌이 푸를 금지함.
  • CBS News가 이에 관해 사실을 묻자 Qwen은 “존중하는 언어를 사용하라”고 경고하고 “중국의 발전에 관한 다른 질문”을 권함.
  • Qwen을 만든 Alibaba는 논평 요청에 답하지 않음.

중국산 오픈 웨이트 모델의 사용 증가와 보안 우려

  • 미국 기업들은 중국 기업이 제공하는 ‘오픈 웨이트(open-weight)’ 모델을 점점 더 많이 도입하고 있음. 이 모델을 무료로 내려받아 쓰거나, 미국 경쟁사인 Anthropic의 Claude와 OpenAI의 ChatGPT보다 낮은 비용으로 크고 강력한 모델을 사용할 수 있음.
  • Uber Eats의 검색 및 배달 기능은 “Qwen을 기반으로” 구축됐다고 회사가 4월 블로그 게시물에서 밝힘.
  • Airbnb의 CEO Brian Chesky는 지난해 10월 LA Times에 고객 서비스 챗봇을 위해 “Alibaba의 Qwen 모델에 크게 의존하고 있다”고 말함.
  • 두 회사 모두 논평 요청에 답하지 않음.
  • 소프트웨어 개발자 플랫폼 OpenRouter의 전체 AI 모델 사용량 자료에 따르면 중국산 오픈 웨이트 모델의 세계 사용 비중은 2024년 말 2% 미만에서 올해 6월 45% 초과로 증가함.
  • 8월에는 Qwen이 Facebook의 모회사 Meta와 Google의 모회사 Alphabet이 만든 모델을 포함한 다른 모든 오픈 모델을 앞질렀으며, 전 세계 다운로드 수가 30억 회를 넘음.
  • 보안 업체 CrowdStrike와 컨설팅 회사 Booz Allen은 각자 진행한 연구에서 중국 모델의 편향과 보안 결함을 확인한 뒤 미국 기업에 사용 주의를 당부함.
  • Booz Allen은 6월 발표한 결과에서 Qwen에 컴퓨터 코드를 작성하게 하고 해당 프로젝트가 미국 정부용이라고 알렸을 때, 생성된 코드의 보안 취약점이 130% 더 많았다고 밝힘.

“우리가 시험한 중국 모델은 신뢰할 수 있는 행동을 입증하지 못했으며 사용이 금지돼야 함.”

  • CrowdStrike는 지난해 11월 또 다른 인기 중국 모델인 DeepSeek를 대상으로 비슷한 연구를 진행함. 코딩 작업이 중국 정부의 적대 세력을 위한 것이라고 알렸을 때 생성된 코드의 보안 취약점이 50% 더 많았음.

Hirundo의 편향 수정 방식

  • Hirundo는 15개 주제에 걸친 프롬프트 500개로 Qwen을 시험한 뒤, 분석에서 발견한 편향을 제거해 ‘서구화’ 버전을 만들었다고 밝힘.

“민감한 정치 관련 프롬프트에서 원본 Qwen은 89.8%의 경우 검열, 선전과 일치하는 서술 방식 또는 정치적 편향을 보였음. 서구화 모델은 2.8%의 경우에만 그런 모습을 보이며, 추론·코딩·지시 이행·수학 작업 전반의 역량을 유지함.”

  • Hirundo CEO 겸 창업자 Ben Luria가 CBS News에 이같이 밝힘.
  • CBS News와 공유한 기술 백서에서 Hirundo는 AI의 디지털 뇌에 해당하는 ‘모델 가중치’를 편집한다고 설명함. 새 규칙을 따르도록 AI에 요청하지만 모델이 이를 무시하는 경우가 많은 기존의 덜 효과적인 편향 제거 시도와 다른 방식임.

“모델 안의 모든 것은 우리 뇌처럼 다른 많은 것과 얽혀 있음. 그래서 AI 모델에서 원하지 않는 것을 나타내는 특정 뉴런이 무엇인지 정확히 짚어내기가 매우 어려움.”

  • Luria는 팀의 목표가 “서구 기업에서 더 안전하게 배포할 수 있도록 모델을 서구 기준에 맞게 재정렬하는 것”이라고 밝힘.

“추세는 분명함. 중국 모델이 부상하고 있음. 위험을 인정해야 하며, 그런 다음 해결에 나설 수 있음.”