OpenAI가 내부 AI 모델의 수학 성과를 담은 원고 722편을 공개한 지 24시간도 지나지 않아, 부호 오류로 원고 3편을 철회했다. 회사는 오류를 확인한 뒤 다른 원고 14편도 수정했다고 밝혔다.

OpenAI는 10월 6일 기하학, 컴퓨터 과학, 대수학 등 분야의 수학 문제 372개를 해결하는 데 진전이 있었다고 주장하는 원고 722편을 GitHub 저장소에 공개했다. 회사는 이번 공개가 “인류 지식의 최전선을 넓히고 수학의 추가 진전을 가능하게 하려는” 노력이라고 설명했다.

그러나 OpenAI는 10월 7일 부호 오류를 이유로 원고 3편을 철회한다고 발표했다. 발표에 따르면 오류는 한 원고의 논증을 무효로 만들었고, 해당 원고에 의존한 다른 두 편의 논문에서 사용한 구성에도 영향을 줬다. 철회된 원고 세 편에는 각각 오류로 생긴 ‘공백’을 설명하는 공지가 붙었다. OpenAI는 이와 별도로 원고 14편을 수정했으며, 수정 내용에는 증명 보완, 진술 정정, 가정과 의존 관계의 명확화, 오래된 인용 한 건의 교체가 포함됐다.

코넬대학교 수학과 부교수 Alex Townsend는 한 오류가 OpenAI 원고 세 편에 연쇄적으로 영향을 준 일은 놀랍지 않다고 말했다. 그는 추가 오류도 발견될 것으로 본다고 덧붙였다.

Townsend는 수학계가 AI를 회의적으로 보는 상황에서 Lean으로 검증을 마친 원고를 먼저 발표했어야 한다고 말했다. Lean은 수학 증명을 검사하는 오픈소스 프로그래밍 언어다. 그는 나머지 원고는 별도로 공개해 검증을 도와 달라고 요청했다면 수학계와 일반 대중에 더 명확했을 것이라고 설명했다.

OpenAI 대변인은 회사가 감사를 진행하던 중 오류를 찾아냈다고 밝혔다. 대변인은 다른 연구 원고와 마찬가지로 이 과정도 반복적으로 개선하는 절차라고 말했다. 이어 수학계의 검토와 피드백을 환영하며, 오류가 발견되면 신속히 바로잡고 수정할 방법이 없으면 논문을 철회하겠다고 밝혔다. 또 수학계가 연구를 검토할 시간과 여지를 주고, 향후 논문의 명확성과 제시 방식을 개선하겠다고 덧붙였다.

OpenAI의 연구 책임자 Dan Roberts도 X 게시물에서 철회를 알리며, 저장소에 새로운 형식화와 확인된 정오표를 계속 반영하겠다고 밝혔다.

OpenAI 대변인은 수학 및 인공지능 자문 그룹(AGMAI)의 협력자들이 ‘완전한 형식화’를 기다리지 않고 결과를 공개하도록 권고했다고 말했다. 공개된 결과의 약 50%는 확인이 끝나지 않은 상태였다고 대변인은 설명했다. 회사는 이번 공개에 대한 피드백을 통해 향후 공개 절차에 관한 AGMAI의 권고가 바뀌었는지 살펴보고, 가능한 한 그 절차를 따르겠다고 밝혔다.

매사추세츠공과대학교 수학과 선임 연구 과학자 Andrew Sutherland는 오류를 발견한 뒤 OpenAI가 신속히 조치한 점을 높이 평가하며 “책임 있는 행동”이라고 말했다. 다만 그는 수학자 다수가 OpenAI의 지금까지의 행보에 불만을 갖고 있다고 강조했다. 특히 AI 시스템이 나비에-스토크스 문제를 풀었다는 9월 8일 발표를 문제 삼았다. 이 문제는 기체와 액체의 움직임을 설명하는 방정식들이 어느 시점부터 신뢰할 수 없게 되는지를 묻는다. 뉴욕타임스의 설명도 참고할 수 있다.

발표 뒤 수학계 주요 연구자들은 OpenAI가 나비에-스토크스 문제 해결을 서둘러 발표해 적절한 설명문을 작성하고 새로운 방법과 아이디어를 분리해 설명하며 기존 연구를 인용할 시간을 주지 않았다고 우려를 표했다. 8,000명 넘는 연구자가 이 입장에 동의했다.

Sutherland는 이번 철회와 수정이 수학계에서 긍정적으로 받아들여질 수 있지만, 잃은 신뢰를 회복하려면 그보다 훨씬 많은 노력이 필요하다고 말했다.

Association for Human Mathematics도 10월 7일 발표한 성명에서 최근 공개를 비판했다. 단체는 “수학자들은 이 작업을 요청하지 않았다”며 “한 번에 700편 넘는 파일을 공개하는 것은 학문적 성과의 증명이 아니라 힘의 과시”라고 밝혔다. 이어 수학자들에게 OpenAI와의 협력을 중단하고 인간의 이해를 중심에 두는 과학의 방향으로 돌아가라고 촉구했다.