LLM이 과학을 맥도날드화한다는 주장

글쓴이는 대규모 언어 모델(LLM)이 과학과 동료 심사를 맥도날드화하고 있다고 주장한다. 논문을 더 빠르고 쉽게 만드는 기술이 기존의 평가 지표를 더 강하게 좇게 해 과학에 해로운 결과를 낳을 수 있다는 논지다.

맥도날드화는 좁은 범위에서 효율성·계산 가능성·예측 가능성·통제를 최적화한 결과, 전체로는 해롭거나 비합리적인 상황이 되는 것을 뜻한다. 패스트푸드점에 빗대면 이해하기 쉽다. 비용을 줄이고 제품을 표준화하는 결정은 각각 합리적일 수 있지만, 그 결과가 모두에게 좋은 것은 아니다.

과학은 어떤 지표를 좇고 있나?

글쓴이는 과학계가 이미 맥도날드화의 조건을 갖췄다고 본다. 계산 가능성은 연구자의 생산성을 수치로 나타내는 허시 지수(h-index), 인용 횟수, 명성 높은 학술지와 학회에 논문을 냈는지로 드러난다.

예측 가능성은 논문 형식과 학회, 출판 절차가 비슷하게 반복되는 데서 나타난다. 연구 자체보다 주목받기 쉬운 유행어를 쓰고, 학술지와 학회의 문체에 맞추는 데 힘을 쏟기도 한다. 글쓴이는 수식과 복잡성이 충분하면 심사자를 설득하기 쉬워지는 경우도 있다고 지적한다. 사소한 것에 논의가 쏠리는 ‘사소한 것의 법칙’처럼, 심사 시간이 이해하기 쉬운 상대적으로 작은 문제에 대부분 쓰일 수 있다는 설명이다. 그 과정에서 논문과 과학 자체를 최적화 대상에서 놓칠 수 있다는 주장이다.

통제는 판단을 정해진 절차나 규칙으로 대체하는 데서 나타난다. 글쓴이는 동료 심사가 논문의 내용보다 형식과 분야의 기대를 따르는지 확인하는 절차로 바뀌고 있다고 본다. 심사에서 기준선이 충분한지, 얼마나 최근의 기준선인지, 충분히 새로운지를 따지는 대신 논문이 어떤 새 지식을 더하는지를 봐야 한다는 것이다. 연구비 지원과 채용에서도 기여의 내용보다 허시 지수에 의존한다고 지적한다.

이런 체계에서는 인용을 얻기 어려운 흥미로운 틈새 연구보다 최신 유행어를 다룬 논문을 쓰는 편이 유리해진다. 완성도 높은 논문 한 편을 내기보다 작은 단계를 각각 다른 논문으로 발표해 인용을 더 모으는 선택도 가능하다. 글쓴이는 사람들이 이 체계를 좋아하지 않으면서도 그 안에서 경쟁한다고 말한다.

경제협력개발기구(OECD)는 연구 평가가 좁은 성과 지표에 지나치게 의존하면 협력, 개방성, 사회적 영향, 정책 지원처럼 중요한 연구 관행과 기여를 낮게 평가할 수 있다고 지적했다. 글쓴이는 이런 요소가 허시 지수보다 중요하다고 본다. 개인의 단기 경력에는 합리적인 선택이 장기적으로는 과학과 과학자에게 해로울 수 있다는 주장이다.

LLM은 무엇을 바꾸나?

이전에는 지표를 좇는 데에도 효율의 한계가 있었다. 연구자는 방법을 구현하고 결과를 시험해야 했으며, 연구비를 마련하고 함께 연구할 학생을 설득해야 했다. 글쓴이는 이 과정이 기존 체계의 과열을 어느 정도 억제했지만, 그 제약도 사라지고 있다고 본다.

이제 LLM을 쓰면 손쉬운 연구 과제에 더 쉽게 접근할 수 있고, 프롬프트 하나로 작동하는 해결책을 구현하고 시험할 수도 있다. 논문 작성도 자동화할 수 있지만, 글쓴이는 자동으로 만든 글만으로는 아직 충분한 품질을 내기 어려울 것이라고 의심한다. 그럼에도 과학 논문으로 인정받을 만한 결과물을 만드는 데 필요한 노력이 크게 낮아졌다는 게 글쓴이의 판단이다.

연구자는 무엇을 바꿔야 하나?

글쓴이는 과학계가 효율성 향상을 이용해 논문 수를 늘리는 대신, 함께 모여 과학의 미래를 논의해야 한다고 주장한다. 성공을 평가하고 연구비를 배분하는 새로운 방법을 만들고, 허시 지수와 인용 횟수, 쉽게 얻을 수 있는 결과를 넘어 무엇을 가치 있게 볼지 정해야 한다는 것이다. 지표에 맞춰 최소한의 논문을 많이 내 학술지와 학회에 투고하는 방식에서 벗어나야 한다고 말한다. 글쓴이는 어떤 지표로 스스로를 평가할지 과학계가 선택할 수 있지만, 지금은 마치 선택권이 없는 것처럼 행동한다고 지적한다.

글쓴이는 이 문제를 해결하는 일은 LLM이 근본적으로 잘하지 못한다고 본다. 창의성과 미래를 내다보는 관점, 무엇보다 인간성이 필요하기 때문이다. 그러나 글쓴이가 주변에서 보는 것은 과학을 가능한 한 빨리 맥도날드화하는 방법에 관한 논의다. 과학계가 무엇을 중요하게 여길지 정하고 그 가치를 실제 평가에 반영해야 한다는 주장이다.

글쓴이는 연구자들이 경력에 합리적인 선택을 하면서도 과학에는 나쁜 결과를 낳는 방향으로 달려가고 있다고 비판한다. 논문을 최대한 많이, 빨리 출판해 학술지를 과학적 저품질 글과 생성된, 어쩌면 가짜일 수 있는 데이터세트로 채우고 있다는 것이다. 그렇게 하면 이제는 가치가 없어진 지표를 더 부풀릴 수 있지만, 그 지표가 여전히 개인의 경력과 연구비 확보에 중요하다는 설명이다. 글쓴이는 이를 굿하트의 법칙(Goodhart’s law), 즉 측정 지표가 목표가 되면 좋은 지표로 기능하지 못하게 되는 문제와 연결한다.

글쓴이는 젊은 연구자와 박사과정 학생을 탓할 수 없다고 말한다. 이들은 선택권을 주지 않는 체계에 막 진입했으며, 체계를 바꿀 권한이나 영향력이 부족하다는 것이다. 대신 이미 자리 잡은 연구자들에게 질문을 던진다. 연구 공동체가 무엇을 가치 있게 여기는지 결정하고, 그 가치에 걸맞은 평가를 해야 하지 않느냐는 물음이다.

글쓴이는 느린 과학(Slow Science)과 책임 있는 연구 평가 관행, 예를 들어 DORA(연구 평가에 관한 샌프란시스코 선언)를 과학의 ‘공동체 정원’을 만드는 출발점으로 제안한다. 패스트푸드점과 달리 공동체 정원은 수익을 내거나 생산량을 최적화하지 않고, 사람들이 제각기 다른 것을 기른다. 글쓴이는 이런 공간이 사람들을 잇고, 아이들이 자연과 만나게 하며, 도시의 회색 공간에 아름다움과 건강한 먹거리를 더한다는 점을 들어 과학에도 그런 공동체가 필요하다고 말한다.

독자가 살펴볼 쟁점은 연구 평가 기준과 연구비 배분이 실제로 바뀌는지, LLM으로 생성한 논문과 데이터세트의 품질을 어떻게 판단할지다. 원문은 과학적 저품질 글과 생성 데이터세트의 규모나 판별 방법, 평가 체계를 바꾸는 구체적 방안은 밝히지 않는다.