오픈AI가 수학 논문 PDF 700편이 넘는 저장소를 공개했고, 오류로 무효가 된 논문 세 편이 철회됐다. 이 글은 AI를 수학 연구에 활용하는 두 방식 가운데, 전문가가 결과를 검토하고 사람이 읽기 좋은 논문으로 정리하는 쪽이 더 낫다는 주장이다.

글쓴이 데이비드 G. 앤더슨은 앤스로픽이 조시 앨먼(Josh Alman)과 버지니아 윌리엄스(Virginia Williams)의 연구에 기여한 사례와, 오픈AI가 다양한 수준의 PDF를 한꺼번에 공개한 사례를 대비한다. 수학·이론 컴퓨터과학 연구에 관심 있는 독자라면 새 결과의 크기뿐 아니라 검증과 설명이 얼마나 이뤄졌는지도 살펴볼 만하다.

두 접근은 무엇이 달랐나?

앤스로픽 쪽 사례에서는 앨먼과 윌리엄스가 행렬 곱셈의 계산량을 세밀하게 따져 기존 방법에서 필요한 연산을 줄였다. 두 연구자는 이 결과를 바탕으로 논문을 작성했고, 행렬 곱셈의 특정 형태를 이용해 3SUM 같은 문제의 계산 복잡도 한계를 낮추는 방법을 제시했다.

3SUM은 주어진 숫자 n개 가운데 합이 0인 세 수가 있는지 판단하는 문제다. 오랫동안 알려진 알고리즘의 실행 시간은 O(n²)이었고, 이를 n의 2보다 작은 지수 시간으로 풀 수 없다는 가정에 기반한 이론도 이어졌다. 새 논문은 실행 시간을 O(n²)에서 O(n^1.9992)로 낮췄다. 차이는 작지만, 글쓴이는 이 결과가 기존의 어려움 가정을 뒤집고 같은 기법으로 다른 추정 난도 문제도 낮췄다는 점에서 해당 분야의 중요한 성과라고 평가한다.

반면 오픈AI는 품질이 제각각인 PDF 700편 이상을 공개했다. 일부에는 Lean 증명(정리의 참을 형식 논리로 확인하는 증명)이 포함됐고 일부에는 없었으며, 사람의 검토 여부가 분명한 논문은 드물었다. 그중 행렬 곱셈 지수 ω를 2.25, 즉 9/4로 낮춘다는 논문은 사실이라면 큰 성과다. 기존 상한은 O(n^2.371177)이었다. 글쓴이는 이 주장이 맞다면 1981년 쇤하게(Schönhage)가 지수를 2.522로 낮춘 뒤 가장 큰 하향 폭이자, 1990년 코퍼스미스(Coppersmith)와 위노그라드(Winograd)가 2.3755를 제시한 뒤 처음으로 큰 폭의 개선이 될 수 있다고 설명한다.

논문은 읽고 검증할 수 있게 쓰였나?

글쓴이는 오픈AI 논문의 도입부와 표기법을 비판한다. 행렬 곱셈 지수의 정의로 시작하는 문장은 사실일 수 있지만, 사람을 위한 논문의 첫 문단으로는 읽기 어렵다는 평가다. 그는 윌리엄스의 사람이 쓴 논문 도입부를 대조 사례로 든다. 그 문단은 행렬 곱셈의 응용과 스트라센(Strassen)의 발견에서 출발해 연구의 맥락을 설명한다.

오픈AI 논문의 기호 설명도 혼란스럽다고 지적한다. 예를 들어 ⊗를 설명한 뒤 ⊕를 사용하고, 정수 m이 단위 텐서 m개의 직접합을 뜻한다고 설명하는 대목이다. 글쓴이는 이를 의도된 표기법으로 보면서도, 새 기호를 설명한 직후 비슷하지만 다른 기호를 도입 없이 쓰면 독자가 따라가기 어렵다고 말한다.

그는 오픈AI 논문 묶음에서 오류를 찾아내려는 사람들이 온라인에 많고, 그중 세 편은 유효성을 무너뜨리는 오류 때문에 철회됐다고 전한다. 행렬 곱셈 논문에는 Lean 버전이 있지만, 그 증명이 정확히 무엇을 증명하는지, 2.25 결과를 뒷받침하는지는 아직 전문가의 평가가 필요하다고 덧붙인다. 따라서 논문에 형식 증명이 있다는 사실만으로 해당 결과가 확인됐다고 볼 수는 없다.

무엇을 확인해야 하나?

이 글의 핵심은 연구 결과의 크기만큼이나 검토와 설명의 책임도 중요하다는 것이다. 앤더슨은 전문가 한두 명이 자료를 검토하고 다듬은 뒤 공개했다면, 독자들이 오류 여부를 판단하는 데 들일 수고를 줄였을 것이라고 주장한다. 그는 사람이 읽고 이해할 수 있으며 오류가 없을 것이라는 신뢰도 높은 연구 결과를 선호한다고 결론짓는다.

새 논문을 참고하려는 독자는 주장된 결과와 증명이 실제로 뒷받침하는 내용을 구분하고, 전문가 검토 여부와 정정·철회 이력을 확인할 필요가 있다. 원문은 행렬 곱셈 지수 2.25 주장이 전문가 검토를 거쳐 확인됐는지, Lean 증명이 그 결과를 증명하는지를 밝히지 않는다.