미공개 수학을 외부 AI에 입력하는 순간, 연구자는 편리한 도구뿐 아니라 데이터의 이동 경로와 성과의 출처도 함께 고려해야 합니다. 이번 논쟁의 핵심은 모델이 정답을 맞혔는지가 아니라, 그 정답이 어떤 정보와 과정에서 나왔는지를 확인할 수 있느냐에 있습니다.
1. 출발점은 미공개 수학과 신뢰의 경계
확인된 사실: 안드레아스 톰의 문제 제기 이후, 연구자가 아직 발표하지 않은 수학적 아이디어를 OpenAI 모델에 입력했을 때 그 내용이 학습과 이후 모델 성과에 어떤 영향을 줄 수 있는지가 논쟁이 됐습니다. 여기에는 서로 다른 세 주장이 섞이기 쉽습니다. 내용이 대화에 입력됐다는 사실, 그 내용이 학습에 반영됐다는 주장, 그리고 나중의 유사한 해결에 실제로 영향을 줬다는 주장은 각각 별도의 검증이 필요합니다.
따라서 모델이 비슷한 문제를 풀었다는 결과만으로 선행 연구의 사용이나 표절을 단정할 수는 없습니다. 반대로 한 번의 대화가 반드시 아무 영향도 주지 않았다고 말할 근거도 충분하지 않습니다. 특히 대화의 학습 사용 여부와 모델의 성과 사이에 직접적인 인과가 확인되지 않았다면, 가능성과 사실을 구분해야 합니다.
2. 연구자 접근 확대가 만든 데이터 경계
확인된 사실: OpenAI는 학술 연구자를 대상으로 모델 이용을 확대했고, 최소 10만 명의 연구자에게 무료 접근을 제공한다고 알렸습니다. 무료 접근 대상과 별도로 비용을 내고 이용하는 연구자도 있습니다. 이처럼 연구자와 모델이 만나는 접점이 넓어졌다는 점 자체는 확인할 수 있습니다.
다만 이용자가 많다는 사실은 특정 대화가 학습에 포함됐다는 증거가 아닙니다. 대화의 학습 사용 여부, 사용 시점, 모델 버전, 그리고 이후 결과와의 인과관계가 공개적으로 구분되지 않는다면, 접근 규모는 가능성을 키우는 배경일 뿐 결론이 될 수 없습니다.
위 도식의 두 경로, 즉 대화 내용이 학습에 반영됐다는 설명과 대규모 강화학습이 특정 대화와 무관하게 성과를 만들었다는 설명은 모두 확인된 인과관계가 아닙니다. 서로 양립할 수도 있지만, 현재 논의에서는 각각 검증되지 않은 경쟁적 설명으로 다뤄야 합니다. 점선은 관찰된 사실에서 결론으로 곧장 이어지는 인과를 뜻하지 않으며, 추가 자료와 실험이 필요한 가능성만을 나타냅니다.
3. 연구자의 작업을 모델이 따라갔다는 의혹
추측·의혹: bertonvv는 AI가 실제로 미해결 문제를 빠르게 풀고 있는지, 아니면 인간의 진전을 모델의 성과로 착각하고 있는지 의문을 제기했습니다. 그는 연구자가 Codex를 이용해 미해결 문제를 진전시키는 과정에서, 내부 모델이 평가받는 바로 그 문제에 관한 새로운 정보를 모델에 제공할 수 있다고 주장했습니다.
이 주장의 요지는 모든 AI 발전이 허구라는 것이 아닙니다. 모델이 전 세계 연구자의 작업에서 영감을 받아 인간의 진전을 일부 흡수했을 가능성이 있다는 뜻입니다. 내부 모델이 미해결 문제를 놀라운 속도로 풀고 있다는 보고가 있다는 주장도 토론에 나왔지만, 이는 독립적으로 확인된 사실이 아니라 당시 댓글에서 제시된 보고와 해석입니다.
4. 3000억 출력 토큰을 둘러싼 시점의 의심
추측·의혹: fwlr는 아직 학습 중인 모델로 3000억 개의 출력 토큰을 생성하기로 한 결정에 주목했습니다. 주요 수학 증명이 해당 모델의 학습 데이터에 들어 있을 가능성을 알게 된 직후였다는 점 때문에, 각 단계에 그럴듯한 설명이 있더라도 전체 과정이 ‘parallel construction’처럼 느껴진다고 말했습니다.
이 주장은 결정의 시점이 의심스럽다는 해석이지, 실제로 학습 데이터가 사용됐다는 증거는 아닙니다. 시점의 선후관계만으로 원인과 결과를 확정할 수 없다는 점도 함께 봐야 합니다.
5. 대규모 강화학습만으로도 가능한가
반론·추측: sashank_1509는 두 가지 설명이 동시에 참일 수 있다고 봤습니다. 연구자의 대화가 모델의 직관이나 잠재적 표현을 개선했을 가능성이 있는 한편, 검증 가능한 수학 문제를 대상으로 한 대규모 강화학습과 막대한 계산이 특정 대화와 거의 관계없이 새로운 기법과 연결을 발견했을 가능성도 있다는 설명입니다.
그는 수학이 정답을 검증하기 쉬운 영역이고, 자기대국식 학습과 대규모 강화학습을 적용하기에 적합하다고 주장했습니다. OpenAI와 Ant의 여러 직원에게서 모델이 수백 개의 미해결 수학 문제를 풀었다는 소문을 들었다는 언급도 있었지만, 이 내용은 확인된 발표가 아니라 미확인 주장입니다. sashank_1509는 그런 성과가 문제의 대화 데이터가 없었더라도 나왔을 가능성이 크다고 보았습니다.
따라서 대규모 강화학습은 가능한 설명 중 하나일 뿐, 실제로 해당 성과의 원인이었다고 확정할 수 없습니다. 대화 반영 가설 역시 마찬가지입니다. 두 설명 가운데 어느 하나를 선택하려면 학습 데이터의 구성, 사용 설정, 모델 버전, 평가 문제의 독립성에 관한 자료가 필요합니다.
6. 인간의 기여를 둘러싼 다른 반론
반론: bamb008은 톰이 비소픽 군의 구성에 관한 설명을 게시했을 때, 해당 증명이 이미 익숙했다는 식으로 쓰지 않았다고 지적했습니다. 오히려 핵심 논거를 영리한 것이라고 표현했다는 점을 들어, 사후적으로 인간의 아이디어를 모델이 그대로 훔쳤다고 해석하는 데 의문을 제기했습니다. 이는 표절 의혹을 반박하는 결정적 증거라기보다, 당시 설명의 표현을 다시 보자는 반론입니다.
atleastoptimal은 대부분의 과학적 돌파구가 이전 작업의 연속이라고 말했습니다. 그는 수학자들이 모델에 준 프롬프트의 영향은 과대평가되고, 모델이 실제로 수행한 작업은 과소평가될 수 있다고 주장했습니다. 인간이 AI를 도왔다는 설명이 AI가 인간보다 똑똑할 수 있다는 가능성보다 심리적으로 받아들이기 편하다는 해석도 덧붙였습니다. 이 역시 모델의 독립적 능력을 입증한 사실이 아니라, 의혹을 바라보는 하나의 설명입니다.
7. 카나리 문구로 확인할 수 있는 것
검증 과제: aaronharnly는 학습이 허용된 대화에 일부러 고유한 문구나 주장, 이른바 카나리를 넣은 뒤 나중에 모델이 그것을 알고 있는지 확인하는 실험을 제안했습니다. 이런 테스트가 실제로 수행됐다는 사실은 토론에서 확인되지 않았습니다. 그는 단일 대화 기록이 모델에 큰 흔적을 남길 가능성은 낮아 보인다는 직관도 함께 밝혔습니다.
카나리 문구가 훗날 출력됐다고 해서 곧바로 학습과 기억이 입증되는 것은 아닙니다. 우연한 생성, 다른 경로를 통한 노출, 평가 설계의 허점과 구분해야 하기 때문입니다. 검증을 하려면 입력 시점과 모델 버전, 학습 사용 설정을 기록하고, 유사하지만 다른 문구를 둔 통제 조건과 비교해야 합니다. 이후에는 모델이 문구만 재현하는지, 아니면 독립적으로 검증 가능한 수학적 추론까지 제공하는지도 나눠 살펴봐야 합니다.
결국 필요한 것은 어느 한쪽의 서사를 믿는 일이 아니라, 데이터 사용 여부와 결과의 독창성을 분리해 검증하는 절차입니다. 서비스 운영자는 대화가 학습에 사용되는 조건과 시점을 명확히 하고, 연구자는 미공개 아이디어를 입력하기 전 기록 보존과 공개 가능성을 점검해야 하며, 외부 검증자는 모델의 결과와 선행 연구의 관계를 재현 가능한 방식으로 비교해야 합니다. 이런 구분이 마련될 때 미공개 수학을 AI에 맡길 수 있는 신뢰의 기준도 구체화될 수 있습니다.
