TL;DR

  • OpenAI의 Navier–Stokes 연구 사례는 연구자가 개인 계정으로 AI 도구를 사용한 뒤 고유한 연구 아이디어가 모델 학습에 활용될 수 있는 조건과 위험을 보여주는 사례임
  • Tristan Buckmaster와 Levent Alpöge는 거의 사용되지 않던 Córdoba·Martínez-Zoroa의 방법을 통해 Euler 방정식 증명을 얻고 Lean으로 검증함
  • OpenAI는 Buckmaster와의 통화에서 내부 모델이 같은 난해한 방법으로 Navier–Stokes 변형을 증명했다고 밝혔으며, 모델 착수 시점은 Buckmaster의 연구가 알려진 뒤 며칠 전으로 제시됨
  • 개인 계정의 ChatGPT·Codex 대화는 옵트아웃하지 않으면 모델 학습에 사용될 수 있음에도, Buckmaster는 데이터가 학습에 사용됐는지에 대한 답변을 받지 못함
  • AI 라우터는 프롬프트를 볼 수 있는 또 다른 주체이므로 로그 여부·보존 기간·반대편 모델의 학습 정책을 확인해야 하며, trustedrouter.com은 이를 줄이기 위해 기밀 실행 환경과 무로그 구조를 제공함

고유 연구와 Navier–Stokes 문제

  • 2010년 Business Insider는 2004년 당시 19세였던 Mark Zuckerberg가 친구에게 보낸 인스턴트 메시지를 다룸.
  • Zuckerberg는 Harvard 학생들이 이메일·사진·주소 같은 매우 민감한 정보를 자신에게 제공한다고 자랑하며 “나를 믿는다”고 말한 뒤 “멍청한 자식들”이라는 취지로 표현함.
  • 22년 뒤 NYU 수학자 Tristan Buckmaster는 Navier–Stokes 문제의 한 변형을 연구하며, Anthropic의 Levent Alpöge와 협력함.
  • 두 사람은 수학자 Córdoba와 Martínez-Zoroa가 몇 년 전 열어둔 우회적 접근법을 통해 문제를 공격함.
  • 해당 방법은 논문으로 공개돼 있지만 실제로 연구하는 사람은 거의 없으며, 문제 설명만 보고 모델이 단순히 ‘검색해 내는’ 종류의 지식이 아님.
  • 8월에 Euler 방정식에 대한 증명을 얻었고, 8월 22일에는 Lean에서 증명을 검증함. 이는 컴퓨터가 모든 단계를 확인했다는 의미임.
  • 2주 뒤 Buckmaster가 OpenAI와 통화하는 자리에서 OpenAI 측은 내부 모델이 Buckmaster가 조사하던 것과 같은 난해한 방법으로 이 Navier–Stokes 변형을 증명했다고 설명함.
  • Buckmaster가 모델의 연구 시작 시점을 묻자, 그 시점은 자신의 연구가 OpenAI에 알려진 뒤 며칠 전으로 제시됨.
  • 이 정황만으로 OpenAI가 Buckmaster의 대화 기록에 직접 들어가 연구를 훔쳤다고 주장할 수는 없음. 강한 비난에는 강한 증거가 필요하며, 현재 그러한 증거는 없음.
  • 문제는 AI 도구가 사용자의 독창적인 사고 패턴을 학습하는 환경에서 고유한 연구가 어떤 운명을 맞는지에 있음.

사전 학습과 사후 학습

  • 대형 언어 모델(LLM)은 크게 두 단계를 거침.
  • 사전 학습(pre-training): 세상에 존재하는 자료를 광범위하게 수집해 학습하는 단계임.
  • 사후 학습(post-training): 사용자 세션을 포함한 선별된 예시로 강화 학습을 수행해 모델을 조정하는 단계임.
  • 2주는 해당 정보를 사전 학습에 활용하기에는 턱없이 짧지만, 사후 학습은 며칠 안에도 진행될 수 있음.
  • 증명 자체는 2주 전 결과였지만, 이 프로젝트는 어떤 형태로든 거의 1년 동안 Codex에 존재함. 따라서 세션이 모델 학습에 흡수될 시간은 충분함.
  • OpenAI는 Buckmaster와의 대화에서 사용자 데이터를 조회하지 않았다고 명시적으로 부인했지만, Buckmaster가 학습 여부를 묻자 답변하지 않음.
  • OpenAI의 공식 도움말 페이지는 사용자가 옵트아웃하지 않는 한 개인 ChatGPT 및 Codex 계정의 콘텐츠가 모델 학습에 사용될 수 있다고 밝힘.
  • Buckmaster는 연구비로 비용을 직접 지불하는 개인 계정을 사용함.
  • 이에 따라 구축 중인 스타트업, 수행 중인 연구, 집필 중인 책을 AI와 공동 작성할 때 결과물이 독점적으로 자신의 것으로 남는지 확신할 수 있는지가 핵심 질문으로 제기됨.

연구 기여와 공개 발언을 둘러싼 공방

  • Buckmaster에 따르면 OpenAI는 두 사람이 결과를 발표할 경우 Buckmaster와 Alpöge가 “문제에 가장 가까이 다가간 인간”으로서 Clay Prize를 받을 자격이 있다고 공개적으로 말하겠다고 밝힘.
  • 별도로 OpenAI는 Buckmaster에게 Alpöge를 제외하고 Navier–Stokes 결과를 혼자 작성하며 OpenAI 모델에 공을 돌리는 방안을 제안함.
  • Buckmaster가 공개적으로 알리겠다고 하자 OpenAI 측은 “왜 당신의 경력을 망치려는 것인가?”라고 답함.
  • Buckmaster가 반박하자 “내가 친절하게 대하길 원하지 않는다면, 친절하게 대할 필요가 없다”고 말했다고 전해짐.
  • OpenAI의 수학 연구를 이끄는 Sébastien Bubeck은 해당 주장을 “거짓이고 선동적”이라고 부르며, 자신은 학계의 규범에 따라 논의에 참여했다고 밝힘.
  • Buckmaster는 누구를 고발하는 것이 아니라고 분명히 밝힘. OpenAI의 증명을 보지 못했고 자신의 데이터가 사용됐는지도 알지 못하며, 자신이 들은 말과 그 시점만 설명하는 입장임.

AI 기업에 맡기는 데이터의 가치

  • 대형 기업에 제공하는 데이터에 대해서는 극도로 신중해야 함.
  • 미국의 제도는 처벌과 벌금이 실질적인 억지력이 되기에는 부족한 방식으로 구축돼 있음.
  • Anthropic이 학습 과정에서 책을 불법 복제한 문제로 15억 달러의 합의금을 지급한 사례도 손익계산서(P&L)의 한 항목으로 처리되는 규모임.
  • 아무도 데이터를 직접 들여다보지 않았다고 해서 데이터가 사용되지 않은 것은 아님.
  • AI 도구는 업무 흐름의 필수 요소가 됐지만, 초기 Facebook 이용자들처럼 데이터가 실제로 얼마나 가치 있는지 잊은 상황임.

소비자용 제품을 우회하는 라우팅

  • 대응책의 일부로 기업들은 소비자용 제품을 완전히 우회해 자체 호스팅하거나 API를 사용하며, 이 경우 적용 약관이 달라짐.
  • 그러나 라우터 역시 프롬프트를 볼 수 있는 또 하나의 주체임.
  • 따라서 쟁점은 데이터가 암호화됐는지만이 아니라 다음 항목으로 이동함.
  • 프롬프트를 기록하는지 여부
  • 기록한 데이터를 얼마나 오래 보존하는지 여부
  • 반대편 엔드포인트가 데이터를 학습에 사용하는지 여부
  • trustedrouter.com은 이 문제를 해결하기 위해 Joseph Perla가 구축한 드롭인 라우터임.
  • OpenAI SDK와 동일한 인터페이스를 제공하며, 다른 라우터와 같거나 더 저렴한 가격 구조를 가짐.
  • 차이는 프롬프트가 시스템에 도착한 뒤 처리되는 방식에 있음.
  • 게이트웨이는 신뢰 실행 환경(trusted execution environment) 안에서 실행되며 프롬프트와 출력을 기록하지 않음.
  • 게이트웨이를 운영하는 사람조차 요청 내용을 읽을 수 없음.
  • 코드는 공개돼 있고 실행 중인 게이트웨이는 해당 코드와 대조되는 증명을 제공하므로, 트래픽을 처리하는 대상이 공개된 코드를 실제로 실행하는지 직접 확인할 수 있음.
  • 반대편 모델도 제로 리텐션(zero-retention)이기를 원할 경우 trustedrouter/zdr은 제로 리텐션을 약속한 제공업체로만 라우팅함.
  • 이 방식이 데이터를 완전히 안전하게 만드는 것은 아님. 어떤 방법도 데이터를 완전히 안전하게 만들지는 않음.
  • 다만 최소한 사용자가 처음에 기대했던 데이터 처리 조건으로 돌아가는 방식임.
  • Buckmaster가 얻은 조건보다 나은 수준임.