TL;DR

  • OpenAI의 첫 인권·책임 있는 배포 책임자 Sarah Yager는 군사 AI의 표적 선정과 자율무기 적용이 초래할 위험을 우려하며, 국제 인권 기준을 기술의 기준선으로 삼아야 한다고 강조함.
  • 30년간 관련 분야에서 활동한 Yager는 국방부(DoW)의 기밀 환경용 AI 계약 이후 OpenAI에 합류했으며, 회사가 군에 유사한 안전장치를 적용하도록 했다고 주장함.
  • Yager는 국제 전문가들과 함께 모델이 전쟁법 등 국제 협약에 적절히 대응하는지 시험하고, 그 결과를 바탕으로 엔지니어들이 모델을 조정하도록 함.
  • AI 기업이 도덕의 기준을 독자적으로 정하거나 AI 에이전트의 법적 지위를 인권과 동일시하는 데 반대하며, 인권 논의의 중심을 인간에게 되돌려야 한다고 강조함.
  • AI를 만드는 집단의 성별·인구학적 편중과 정부의 빠른 AI 도입을 우려하며, 감시 기관이 정부의 AI 활용을 추적할 도구를 마련하도록 지원함.

군사 AI에 대한 우려

  • Sarah Yager는 6월 OpenAI의 첫 인권·책임 있는 배포 책임자로 합류함. 군사 분야에서 30년간 쌓은 경험과 OpenAI의 국방부(DoW) 협력을 바탕으로 군사적 활용에 집중함.
  • Yager는 화요일 뉴욕에서 열린 ScaleUp:AI 콘퍼런스 무대에서 군 조직의 AI 도입, 특히 무력 충돌에서의 활용에 대한 우려를 밝힘.

“모두가 매우 우려하고 있으며, 그럴 만한 이유가 있음. 밤잠을 설치게 하는 문제는 표적 선정에 군이 AI를 어떻게 사용할지, 자율무기는 어떻게 될지, 이 모든 일이 어디로 향할지임.”

  • 세계 각국 군대는 드론과 로봇 같은 신형 무기 및 자율 시스템을 개발하며 작전에 AI를 빠르게 도입하는 중임.
  • Yager는 세계에서 가장 영향력 있는 AI 기업 중 하나인 OpenAI 내부에서 이 어려운 문제를 다룰 기회를 얻음.

“인권이 반드시 지배적인 가치가 아닌 곳에 들어가 사람들을 설득하고 싶었음. OpenAI 동료들에게는 미안하지만, 지금은 짐승의 뱃속에 들어와 있으며 이곳은 실제로 매우 편안함. 설득하고 토론하고 논쟁하며 상황을 조금이라도 바꾸는 일이 좋음.”

OpenAI 합류와 군 계약

  • OpenAI는 2월 말 국방부와 기밀 환경에 첨단 AI 시스템을 배치하는 계약을 체결한 직후 Yager에게 영입을 제안함. 이 주목도 높은 계약은 국방부와 Anthropic의 공개적 결별 뒤에 이뤄짐.
  • Anthropic은 대규모 대중 감시와 완전 자율 무기를 금지하는 등 군의 기술 사용에 안전장치를 두려 했지만, 국방부는 이에 동의하지 않음. 이후 국방부는 Anthropic을 공급망 위험으로 지정했고, OpenAI는 유사한 안전장치에 국방부가 동의하도록 했다고 주장하며 계약을 따냄.
  • Yager는 OpenAI 합류가 처음부터 확정된 선택은 아니었다고 말함. 무대 인터뷰 진행자가 표현한 것처럼 회사가 책임감 있는 이미지를 만들기 위한 ‘브랜딩 작업’으로 자신을 채용해, 기술에 실질적인 영향력은 없는 상징적 인물로 둘 수 있다고 의심했기 때문임.
  • Yager는 직원들, 특히 “자신들이 무엇을 만들고 있는지, 누가 그 기술의 운전대를 잡고 있는지 매우 걱정하는 젊은 세대”와 이야기를 나누며 사전 조사를 했고, 변화를 만들 수 있는지 확인하기 위해 직책을 맡기로 함.

모델에 국제 기준 반영

  • 합류 후 기술의 방향에 어느 정도 영향을 미치는 성과를 거뒀지만, 기술이 향하는 방향에 대한 우려도 있음. CNN은 지난달 부정확한 AI 생성 정보 보고서를 근거로 미군이 중국 군함을 거의 표적으로 삼을 뻔했다고 보도함.
  • Yager는 연구자 및 엔지니어와 직접 협력해 모델을 개선함. 여기에는 제2차 세계대전 이후 1949년 제네바 협약에서 확립된 전쟁법을 비롯한 기본 국제 협약에 모델이 적절히 대응하도록 하는 작업이 포함됨.
  • 국제 전문가들을 초청해 “실제로 키보드 앞에 앉아 매우 중대한 상황을 가정한 프롬프트를 입력”하도록 했으며, 엔지니어들은 응답을 토대로 모델을 조정함.

“이런 일은 전에는 한 번도 이뤄진 적이 없었으며, 그래서 매우 보람 있었음.”

  • Yager는 AI 기업들이 인간성과 도덕을 정의하는 문제에서 “바퀴를 새로 발명하려” 한다고 봄. 사회는 이미 이 문제의 많은 부분을 다뤘으며, 그 기준은 인권이라는 입장임.

“제네바 협약과 같은 인권이 기준선이어야 함. AI 기업이 무엇이 선한지 나에게 말하는 것은 원치 않음. 업계가 선의 기준을 정하도록 두면 무엇이든 허용되는 상황이 됨.”

AI 에이전트의 권리와 인권

  • Yager는 실리콘밸리에서 AI, 특히 새로운 에이전트 기술에 권리를 부여해야 하는지를 놓고 벌어지는 논쟁에 다소 불편함을 드러냄. OpenAI는 채용 과정에서 이 문제를 질문했고, 당시 Yager는 반대하며 인권에 집중한다고 답함.
  • 이후 이 질문을 더 고민한 Yager는 에이전트가 법률·노동·세금 구조에서 어떤 위치를 차지하는지에 관한 “매우 중요한” 논의에는 더 열린 태도를 보임. 다만 이 문제는 권리의 문제가 아니라고 구분함.

“이는 인권과 전혀 비교할 수 없는 문제이며, 인권에서 인간이라는 요소로 돌아가기를 진심으로 바람.”

  • 객석의 박수에 무대 진행자는 “큰 박수를 보냄”이라고 화답함.

AI 개발 집단의 대표성

  • Yager가 우려하는 또 다른 문제는 AI를 만드는 인구 집단의 상대적으로 폐쇄적인 구성임.
  • 지난주 Trump 대통령은 워싱턴에서 기술 업계 지도자 수십 명을 모아 AI 안전을 논의함. 자발적 안전 합의에 서명한 사람은 모두 남성이었으며, 오찬 행사 참석자 전체를 담은 사진에서도 AMD CEO Lisa Su를 제외하면 모두 남성이었음.

“남성도 훌륭하지만, AI에 관한 선택을 누가 하게 될지를 보여주는 사진은 매우 남성 중심적이었음. 문제는 AI가 전 세계 사람들 사이의 권력 균형을 근본적으로 바꾸고 있다는 점임. 그 자리에 영향을 받는 공동체는 보이지 않았음.”

정부 AI 활용과 책임성

  • Yager는 정부가 AI를 빠르게 도입하고 있다고 지적함.
  • 정부책임처(GAO)와 감찰관실(OIG) 같은 감독 기관이 정부의 AI 활용을 추적할 도구를 구축하도록 지원함.

“그런 책임성 장치는 민주주의에 중요하게 느껴짐.”