AI가 수학 연구의 인간적 즐거움을 앗아갈 수 있다

2026년 10월 17일

한 달 전, 이오아니스 치오코스(Ioannis Tsiokos)라는 사람에게서 갑자기 이메일을 받았다. 그는 타일링 이론에서 돌파구를 찾았다며 3차원 강한 비주기 단일 타일을 발견했다고 했다. 이는 모자 타일의 3차원 유사체다. 이 도형은 3차원 공간 전체를 빈틈이나 겹침 없이 채울 수 있지만, 완벽하게 규칙적인 반복 배열은 만들 수 없다. 여기서 ‘강한’ 비주기성은 중요한 특징이다. 3차원에서는 ‘약한’ 비주기 단일 타일이 수십 년 전부터 알려져 있었다. 2차원에서는 이 구분이 사라지며, 그 정확한 뜻은 이 글의 주제와 관련이 없다. 치오코스의 이메일에는 형식 검증이 담긴 온라인 저장소와 기술 논문 초고, 해설 글, 인터랙티브 데모로 이어지는 링크가 포함돼 있었다.

이 온라인 자료는 처음부터 끝까지 AI가 만든 부실한 콘텐츠의 흔적을 드러냈다. 치오코스가 이를 적극적으로 알리거나 숨기려 한 것 같지는 않다. 논문 초고 끝에는 여러 대규모 언어 모델(LLM)을 사용했다는 사실이 담담하게 적혀 있다. 나는 부실한 자료 더미를 헤치며 쓸 만한 정보를 추려낼 생각이 없었다. 다행히 그럴 필요도 없었다. 차임 굿맨-스트라우스(Chaim Goodman-Strauss)와 펠릭스 플리커(Felix Flicker)가 각각 AI 생성 논문 초고에서 핵심 내용을 정리했다. 두 사람이 쓴 짧고 이해하기 쉬운 논문은 차임의 논문과 펠릭스의 논문에서 볼 수 있다. 두 글을 보면 그 도형이 실제로 3차원 강한 비주기 단일 타일이라는 점을 쉽게 확인할 수 있다. 하지만 이 발견의 수학적 측면을 다루려는 글은 아니다.

AI 시대가 열린 뒤 내 개인적인 연구 관심사와 맞닿은 돌파구가 나온 것은 이번이 처음이다. 이 경험은 평소보다 많은 자기 성찰을 불러왔다. AI가 연구에 미치는 영향을 다룬 글을 쓴 사람이 나만 있는 것은 아니다. Proofs and Prompts나 테리 타오(Terry Tao)의 블로그에 실린 여러 초청 글에서 읽을거리를 찾을 수 있다. 한 기자와 이메일을 주고받던 중 이 발견이 나를 슬프게 했다고 말했고, 기자는 그 이유를 물었다. 여기에는 그 답변을 확장해 싣는다. 마음을 털어놓고, 나중에 돌아볼 기록을 남기려는 뜻이다.

더 깊이 들어가기 전에 현재 AI 기술을 둘러싼 대체로 논란의 여지가 적은 우려를 짚고 넘어가자. 이번 가을 컴퓨터과학 입문 수업에서 학생들에게 설명한 ‘네 가지 큰 우려’는 환경에 미치는 영향, 지식재산의 만연한 도용, 인지적·심리적 피해, 환각과 부실한 콘텐츠의 범람이다. 지난 몇 달 동안 다섯 번째 우려도 더했다. 이 기술을 만드는 업계는 부유하고 현실 감각이 떨어지는 무례한 사람들에 의해 운영되며, 이들은 빠르게 더 부유하고, 더 현실 감각이 떨어지고, 더 무례해지고 있다.

이는 생성형 AI의 폐해를 폭넓게 논의할 때 기본적으로 고려해야 할 문제다. 환각과 부실한 콘텐츠는 AI 시스템이 내놓는 결과의 결함이며, 기술이 기대만큼 잘 작동하지 않는다고 볼 이유다. 나머지 우려는 기술이 제대로 작동하더라도 사용을 피해야 할 중요한 이유다.

나는 AI 도구를 가능한 한 적게 쓴다. 일 년에 몇 번쯤 쓸까 말까다. 글쓰기를 도와달라고 AI를 쓸 생각은 들지 않는다. 연구에 사용하는 것에도 반대하지만, 한 번은 혼자 해결하지 못한 까다로운 C++ 코드 열 줄 정도를 LLM에 생성해 달라고 한 적이 있다. 지난 몇 달 동안은 웹사이트 설정과 관련된 성가신 문제를 해결하려고 기본적인 리눅스 기술 지원을 받을 때도 썼다. 대형 대학 컴퓨터과학과에 속한 나는 AI를 쓰는 동료들 가운데 소수에 속하지만, 아주 드문 편은 아니다. 100명이 넘는 동료 사이에는 AI를 온종일 쉬지 않고 쓰는 사람도 있고, 약 3분의 1은 전혀 쓰지 않는 사람도 있다.

지난 1년 동안 수학 연구에서 AI가 거둔 것으로 보이는 성과를 고려하면, 앞서 말한 네 가지 우려 외에 내가 왜 계속 AI를 피하는지 물을 만하다. 먼저 고상하고 이상주의적인 답을 내놓고, 그 답이 지금 시대에 부족할 수 있는 점을 살펴보겠다.

나는 테리 타오와 필즈상 수상자들이 온라인에 게시한 「수학 분야 AI의 심각한 불일치」의 내용에 동의한다. 그중 관련 대목은 다음과 같다.

유명한 문제는 우리가 이 분야를 더 깊이 이해하게 됐는지 가늠하는 이정표이자 길잡이 역할을 해왔다. 이런 문제를 푸는 일은 새로운 통찰과 흥미로운 방법이 나왔다는 확실한 신호였고, 수학자 공동체는 길고 힘든 발표와 토론, 단순화의 과정을 거쳐 이를 연구했다.

AI가 생성한 증명의 시대에는 그 활발한 지적 과정 일부를 잃는다. 유명한 문제가 풀리더라도, 그 결과가 분야에 대한 이해가 깊어졌다는 뜻은 아닐 수 있다. AI 기업들이 인터넷에 쏟아내는 논문과 그에 딸린 형식화 자료는 뒤죽박죽인 경우가 많고, 관심을 끄는 수학적 사실이 참인지 거짓인지 최종적으로 선언하는 데서 끝난다. 질문의 답은 받지만 통찰은 얻지 못하고, 유용한 새 아이디어나 대상, 방법도 나오지 않는다. 물론 나중에 일부 성과가 생길 수 있다. 차임과 펠릭스의 글은 새로 발견된 3차원 단일 타일을 두고 우리가 바라는 단순화 작업이다. 그래도 과거에는 사람이 문제와 씨름해야 풀 수 있었다는 사실 자체에 가치가 있었다고 말하는 것이 지나친 향수는 아니다. 열린 문제의 증명을 내놓은 연구자를 높이 평가하면서도, 답에 이르는 과정이 최종 답보다 중요하다는 점을 어느 정도는 알고 있었다.

하지만 그게 전부는 아니다. 수학 연구의 고통이 중요하다면 기쁨도 함께 인정해야 한다. AI가 내 연구에 미칠 영향을 생각하다가 2019년 영화 《나이브스 아웃》의 한 대사가 떠올랐다. 바둑을 두던 인물 하나가 “왜 나는 이 게임에서 널 이기지 못하지?”라고 묻자, 다른 인물이 “널 이기려고 두는 게 아니야. 아름다운 패턴을 만들려고 두는 거야”라고 답한다. 이 말은 내 연구의 좌우명처럼 들렸다. 내 연구 가운데 상당수가 실제로 아름다운 패턴을 만드는 일이기도 하다. 나는 최고가 되거나, 가장 먼저 무언가를 하거나, 가장 중요한 문제를 풀거나, 논문을 가장 많이 쓰거나, 상을 가장 많이 받으려고 연구하지 않는다. 연구 과정 자체가 가치 있는 인간 활동이고, 내가 그 일에 잘 맞기 때문에 연구한다. 새로운 아이디어를 배우는 어려운 과정과 지식의 경계를 넓히려는 창조적 분투를 소중히 여긴다. 드물게 찾아오는 통찰의 순간에서 기쁨과 감사를 느낀다. 각 연구가 나를 바꾸고, 다음 문제에 쓸 새로운 사고 도구를 건네는 방식도 중요하게 생각한다. 복잡한 아이디어를 전달하는 일도 가치 있게 여긴다. 지금으로서는 AI 자동화가 이런 경험과 정반대인 듯하다.

결과를 더 빨리 얻으려고 연구를 기계에 맡기면서 연구의 즐거움과 고투를 왜 포기해야 할까? 서두를 이유가 무엇인가? 3차원 비주기 단일 타일이 존재하는지에 중요한 현실적 이해관계가 걸린 것도 아니다. 더 나아가, 치오코스처럼 당사자가 아닌 사람이 다른 이들의 즐거움까지 빼앗는 이유는 무엇일까? 호의적으로 해석하면 그는 문제에 진심으로 관심을 갖고 해결의 씨앗이 될 아이디어를 떠올린 뒤, LLM이 이를 증명으로 발전시키도록 이끌었을 수 있다. 더 냉소적으로 보면 수학의 미해결 문제를 푼 사람으로 자신의 이름을 남기고 싶었을 수도 있다. 다만 그 해법이 얼마나 ‘그의 것’인지는 논쟁의 여지가 있다. 동기가 무엇이든, 그가 아름다운 패턴을 만들려 한다는 느낌은 받지 못했다.

AI 자동화는 인간의 번영에 어떻게 기여할까? 뉴스에는 AI가 많은 사람에게 신체적·심리적·경제적 피해를 주고, 인류 멸종이라는 의문스러운 위협으로 이어진다는 이야기가 가득하다. AI 도구를 거리낌 없이 쓰는 동료들 가운데서도 마지못해 쓰거나 혐오감을 느끼며 쓴다는 사람이 많다. AI가 실제 사람들의 삶을 진정으로 개선했다는 이야기는 드물다. 이 기술의 제작자들은 풍요로운 미래의 기술 유토피아를 암시하지만, 그 미래의 부가 지금보다 더 불평등하게 분배될 것이라고 걱정하는 데는 이유가 있다.

AI가 오래 이어진 학문 전통에서 인간성을 빼앗을 수 있다고 생각해 슬프다. 자극적인 협력 활동이 수학적 참을 끊임없이, 암울하게 열거하는 일로 대체되는 전환점이 다가올까 두렵다. 지금의 슬픔은 앞으로 누릴 기쁨이 줄어드는 일을 미리 맛보는 것과 같다.

이제 관점을 바꿔, 앞서 말한 수학 연구의 낭만적 관점에 자연스럽게 제기될 몇 가지 반론을 인정하고자 한다. 내 연구를 어떻게 할지, 다른 사람과 어떻게 협력할지, 대학원생을 어떻게 지도할지 고민하며 여전히 씨름하는 문제들이다.

‘구름을 향해 고함치는 노인’이라는 말이 떠오른다. 나는 경력의 시작보다 끝에 더 가까워졌다. 수십 년 동안 써 온 수학·계산 도구들이 있고, 새 도구를 받아들이는 데 주저하며 배우는 속도도 느리다. 아직도 대부분의 코드를 터미널 창에서 vim으로 쓰며 구문 강조 같은 기본 기능조차 쓰지 않는다. 예전 대학원생 한 명은 내 코딩 환경을 “Vi Unimproved”라고 불렀다. 그러니 AI 도구에 대한 내 감정이 익숙한 방식을 고수하고, 새 기술에 시간과 에너지를 들이지 않으려는 관성에서 비롯됐을 가능성은 충분하다.

그런 태도에도 어느 정도 진실은 있을 것이다. 동료 중 약 3분의 1이 AI 도구를 쓰지 않는다는 사실을 보여준 설문조사는, 내가 기억하기로는 나이를 묻지 않았다. 학계에서 AI 사용과 나이가 얼마나 강한 음의 상관관계를 보이는지 알아보면 흥미로울 것이다. 하지만 그것이 전부일 수는 없다. 말했듯 AI 기술을 둘러싼 핵심 우려는 기술을 정기적으로 쓰는 사람들 사이에서도 특별히 논란이 되지 않는다. 그 자체로도 도입을 주저할 이유가 된다. 다른 조건이 같다면 연구의 기술적 세부 사항을 마법 상자가 처리하게 하기보다 직접 알아내고 싶다.

물론 조건이 늘 같은 것은 아니다. 대학원생의 경우가 가장 분명하다. 학생들은 현재 AI 전문성을 우대하는 취업 시장으로 나가게 된다. 내가 AI를 쓰지 않더라도 학생들에게 도구 사용을 금지하면 오히려 해가 될 수 있다. 나는 학생들에게 문제 해결에 어떤 기술, 예컨대 어떤 프로그래밍 언어를 써야 하는지 거의 지시하지 않았다. 물론 권고는 해 왔고, 논문 작성에는 LaTeX를 반드시 쓰도록 한다. AI에도 같은 유연성을 적용해야 한다. 지금 학생들의 이력서는 코드 생성 도구에 기본적으로 익숙하다는 점에서 이득을 볼 수 있다.

내 연구에서 마음을 바꿀 수도 있는 분야는 인터랙티브 시각화나 실험을 위한 앱 제작이다. 생성형 AI는 내가 할 수 있는 것보다 더 빠르게, 더 완성도 높은 사용자 인터페이스를 갖춘 브라우저 기반 도구를 만들 수 있다. 데이비드 바크먼(David Bachman)이 내 예전 논문 몇 편을 ChatGPT에 넣어 거의 전부 만든 Topkapi가 좋은 사례다. 인터페이스는 AI 생성물 특유의 번잡함이 있지만 기능이 뛰어나고 세련됐다. 코드 품질과 성능은 그다지 중요하지 않다. 연구 관점에서 큰 가치를 더하지 못하는 비슷한 도구를 직접 만들려면 몇 주를 쉽게 쓸 수 있다. 실제 연구를 AI에 맡기는 데는 여전히 거부감이 있지만, 연구를 보여주는 도구를 만들게 하는 데는 마음을 열 수도 있다.

골대를 옮긴다는 반론도 있다. AI 기업들이 수학 연구의 새 성과를 발표하려고 경쟁하는 가운데, 수학자들의 부정적 반응을 대중이 패배감에서 나온 것으로 볼까 걱정된다. 우리의 반응은 ‘로봇이 일자리를 빼앗을 것’이라는 이야기의 또 다른 메아리일 뿐일 수 있다. 이 이야기는 최초의 러다이트 운동만큼이나 오래됐다. 물론 우리는 자기 영역을 지키려 할 것이고, 갑자기 증명이 수학 연구의 주된 목표가 아니었다고 주장하기 시작할 것이다.

하지만 실제로 증명은 주된 목표가 아니었다. 증명이라는 일반 개념은 오래됐지만, 정리가 증명됐는지 판단하는 오늘날의 수학적 엄밀성 기준은 비교적 최근에 만들어졌다. 약 100~150년 전에 자리 잡은 기준이다. 증명보다 통찰과 이해를 중시하는 최근의 외침은 AI에 대한 불가피한 반응이지만 새로운 생각은 아니다. 20세기 중반에 잔카를로 로타(Gian-Carlo Rota)가 증명보다 증거의 중요성을 강조했던 것으로 기억하지만 정확한 인용구를 찾지는 못했다. 이보다 널리 받아들여지는 견해로는 영향력이 큰 연구가 단순히 무언가를 증명하는 것보다 올바른 질문을 하거나 적절한 용어를 정하는 데 더 많이 달려 있다는 생각이 있다.

수학자들이 증명을 지나치게 중시하게 됐을 가능성은 있다. 학계의 다른 여러 부분과 마찬가지로, 교수진을 평가할 때 측정하기 쉬운 지표로 단순화하는 경향이 있고 증명은 편리한 평가 단위다. 그런 점에서 AI 생성 수학은 수학자들에게 순이익이 될 수도 있다. 증명에만 집중하는 방식의 약점을 드러내고, 우리가 가치를 보여줄 다른 방법을 열어줄 수 있다. 물론 내 연구 대부분이 증명 작성에 관한 것이 아니라는 점에서 이 관점 역시 나에게 유리하다.

마지막 쟁점은 능력 보강과 자동화의 구분이다. 이는 가장 철학적이고 해결하기 어렵다. MIT의 훌륭한 AI 교육 보고서에는 ‘자동화가 아니라 능력 보강’이라는 절이 있다. AI가 능력을 키우는지, 능력을 대신하는지 경계를 그으면 실제 활용처가 있을 수 있다는 뜻이다.

같은 맥락에서 우리는 MIT의 AI 교육 활용을 ‘학습자 우선’으로 만들어야 한다. 생각하고 배우고 창조하고 문제를 푸는 ‘힘들지만 즐거운 과정’을 대체하는 것이 아니라, 학생들이 생각하고 배우고 해결할 수 있는 범위를 넓혀야 한다. 간단히 말해 AI는 호기심과 창의성, 학습을 자동화하는 대신 이를 보강하고 확장하는 데 쓰여야 한다.

최근 이메일을 주고받으며 누군가 이 지점에 의문을 제기했다. 내 연구도 이미 거대한 기술의 탑 위에 세워져 있다는 지적이었다. 나는 컴퓨터 운영체제를 쓰고, 프로그래밍 언어와 컴파일러로 수학적 질문을 탐구하는 소프트웨어를 작성한다. 최적화 알고리즘과 SAT 솔버 같은 도구를 써서 직접 풀기에는 너무 어려울 수 있는 질문의 답을 찾기도 한다. 그렇다면 AI도 그 탑의 한 층, 단순 반복 작업을 줄이고 역량을 확장하는 또 하나의 도구가 되면 안 될 이유가 무엇일까? 아니면 연필과 종이로 연구해야 할까? 연필과 종이도 기술이라면, 생각만으로 연구하는 편이 나을까?

이 질문은 깊은 고민을 불러일으키며, AI 기술을 둘러싼 익숙한 우려 외에는 바로 내놓을 답이 없다. 단호하게 답하려면 AI가 이전 기술과 근본적으로 어떻게 다른지 설명해야 한다. 그런 주장을 진지하게 받아들여야 하는지 알기 어렵다. 결국 AI도 선형대수일 뿐이다. 더 중요한 점은 능력 보강과 자동화 사이의 경계가 어디인지 정확히 판별할 방법을 제시해야 한다는 것이다. 기계가 나를 대신해 생각하도록 허용하는지 알고 싶다면, 먼저 내가 생각한다는 것과 기계가 생각한다는 것이 무엇인지 알아야 한다. 두 질문 모두 오랫동안 답을 알 수 없을 가능성이 크다.

시간이 흐른 뒤 지금의 생각을 되돌아보게 될 날이 궁금하다. 지금 중요한 변화가 일어나는 시간 범위는 몇 달 정도로 보인다. 몇 년 뒤 수학의 모습이 어떨지 상상하기 어렵고, 수십 년 뒤를 예측하는 일은 우스울 정도다. 당분간은 이 구식 신념을 지키며 살아가겠다. 그 때문에 시대에 뒤처질 위험이 있더라도 말이다.