LLM이 과학을 맥도날드화하고 있음

TL;DR

• LLM(대형 언어 모델)은 효율성을 높여 과학을 망가뜨리는 ‘엔시티피케이션’보다, 합리적인 개별 최적화가 비합리적 결과를 만드는 맥도날드화로 이끌고 있음.
• 과학계는 h-인덱스, 인용 횟수, 저명 학술지 게재 등 측정 가능한 지표와 예측 가능한 형식, 절차 중심의 심사에 오랫동안 의존해 왔음.
• LLM은 연구 구현과 논문 작성에 필요한 노력을 낮춰, 이미 왜곡된 지표를 좇는 논문 대량 생산을 더 부추길 수 있음.
• 단기적으로 경력에 유리한 선택이 장기적으로 과학과 과학자에게 해를 끼치는 상황에서, 연구자 평가와 연구비 배분 방식을 다시 논의해야 함.
• 슬로 사이언스와 DORA 같은 책임 있는 연구 평가 관행을 과학의 ‘공동체 정원’으로 나아갈 출발점으로 삼아야 함.

과학의 맥도날드화

• ‘엔시티피케이션(enshittification)’은 기업이 좋은 제품으로 네트워크 효과를 얻고, 기존 이용자층에 더 나쁜 제품을 제공한 뒤, 이용자가 관성 때문에 떠나지 못하는 상황에서 여러 부문으로 수익 추출을 반복하는 과정임.
• 이 글은 LLM이 과학과 동료 심사 제도를 엔시티피케이션하는 것이 아니라 과학을 맥도날드화하고 있다고 주장함. 맥도날드화에서는 누군가가 이용자를 가두거나 가치를 빼앗는 것이 아니라, 좁은 범위에서 합리적인 선택을 한 결과 비합리적인 결과가 발생함.

맥도날드화

• 수백만 명이 맥도날드에서 식사하지만, 오염, 삼림 파괴, 좋지 않은 음식, 낮은 임금과 품질 등을 고려하면 이를 ‘좋은’ 사업의 전형으로 보기는 어려움.
• 그러나 맥도날드로 이어지는 개별 결정은 각각 타당해 보임.
• 최대 이익을 위한 비용 최적화.
• 익숙하고 일관된 제품으로 예측 가능한 가치를 제공해 반복 방문을 유도함.
• 높은 브랜드 가시성으로 경쟁을 압도함.
• 해악은 개별적으로 합리적이고 국지적으로 타당한 최적화에서 비롯됨. 이는 자본주의의 이상에 부합하는 구조임.
• 맥도날드와 정반대에 있는 공동체 정원은 자본주의 관점에서 수익을 내지 못하고, 사람들이 제각기 다른 작물을 기르며, 생산량도 이윤을 기준으로 최적화되지 않는 비효율적인 방식임.
• 그럼에도 공동체 정원은 사람들을 모으고, 아이들을 자연과 연결하며, 회색빛 도시 공간에 아름다움과 건강한 먹거리를 더함. 따라서 맥도날드는 줄이고 공동체 정원은 늘릴 수 없는지 질문함.
• 맥도날드화는 효율성, 계산 가능성, 예측 가능성, 통제를 갖추고 좁은 범위에서 절차를 최적화할 때 해롭거나 비합리적인 결과가 나올 수 있다는 개념임. 이 글은 과학이 바로 그런 방향으로 향하고 있다고 주장함.

과학은 오랫동안 잘못된 지표를 사용해 왔음

• 과학계에는 과학의 맥도날드화를 뒷받침하는 조건이 이미 존재함.
• 계산 가능성: h-인덱스, 인용 횟수, 저명 학술지와 학회 게재를 성과 지표로 삼음.
• 예측 가능성: 빅맥이 어디서나 같고 놀라움이 없으면 위험도 없듯, 논문 형식, 학회, 출판 절차가 정형화됨. 과학 자체에 집중하기보다 가시성을 높이려고 유행어를 사용하고, 학술지와 학회의 말투·문체에 맞추는 데 노력을 들임. 충분한 수식과 복잡성이 심사자를 설득하기도 하며, 이는 사소하고 이해하기 쉬운 쟁점에 심사 시간 대부분을 쓰는 사소함의 법칙과 비슷함. 이런 요인들을 최적화하다 보면 논문과 과학 자체를 잊을 수 있음.
• 통제: 판단을 대본이나 절차로 대체함. 동료 심사에서는 어떤 새로운 지식을 가져오는지보다 기준을 충족하는지, 즉 기준선이 충분한지, 최신인지, 충분히 참신한지 등을 따지는 절차적 통제가 강해지고 있음. 연구비와 채용에서도 실질적인 기여보다 h-인덱스에 의존함.
• 인용을 얻기 어려운 흥미로운 틈새 논문 대신 최신 유행어를 다룬 논문을 쓰고, 완결된 대형 논문 하나 대신 여러 개의 작은 단계를 별도 논문으로 발표해 인용을 늘리는 선택이 유도됨.
• 아무도 이 체계를 좋아하지 않지만 그 안에서 경쟁하고 있음.

OECD는 “연구 평가가 좁은 성과 측정치에 과도하게 의존하면 협업, 개방성, 사회적 영향, 정책 지원과 같은 중요한 연구 관행과 기여를 저평가하는 경향이 있다”고 지적함.

• 이 글은 협업, 개방성, 사회적 영향, 정책 지원이 h-인덱스보다 중요하다고 주장함. 단기적으로나 개인 경력에 유리한 합리적 선택이 장기적으로 과학과 과학자에게 해를 끼치는 비합리적 결과를 만듦.
• 지금까지는 이런 지표 추구에 효율성이라는 한계가 있었음. 연구자는 방법을 구현하고 결과를 시험하며, 연구비를 받을 사람과 함께 일할 학생을 설득해야 했음. 이런 수고가 문제를 어느 정도 억제했지만, 그 제약도 사라지는 중임.

LLM은 지표 추구를 더 부추김

• LLM은 연구 환경을 바꾸고 있음. 쉽게 얻을 수 있는 성과가 더 가까워져 프롬프트 하나로 작동하는 해결책을 구현하고 시험할 수도 있음.
• 논문 작성도 자동화할 수 있지만, 현재로서는 자동 작성만으로 충분히 높은 품질을 낼 수 있을지는 의문임.
• 과학 논문으로 인정받는 결과물을 만드는 데 필요한 노력의 문턱이 크게 낮아짐.

효율성의 이득 대신 공동체 정원을 만들기

• 효율성 향상에 대응하려면 과학의 미래를 멈춰 서서 논의하고, 성공 평가와 연구비 배분의 새로운 방식을 만들어야 함.
• h-인덱스와 인용 횟수, 쉽게 얻는 성과, 학술지와 학회에 무작정 던지는 최소한의 논문을 넘어서야 함. 애초에 그리 좋은 지표도 아니었던 수치를 최적화하는 일을 멈춰야 함.
• 이 문제는 LLM이 근본적으로 해결하기 어려움. 창의성과 미래를 내다보는 사고, 무엇보다 인간성이 필요함.
• 그러나 지금은 과학을 맥도날드처럼 만들기 위해 달려가고 있음. 과학에 나쁜 결과를 낳는 선택을 경력에 합리적인 결정이라는 이유로 밀어붙이고 있음.
• 가능한 한 빨리 많은 논문을 발표해 학술지를 과학적 저품질 콘텐츠와 생성된, 어쩌면 가짜일 수도 있는 데이터세트로 채우고, 이미 무가치해진 지표를 더 부풀리려는 움직임이 있음. 그 지표가 개인의 경력 목표와 연구비 확보에서 여전히 가장 중요한 요소이기 때문임. 이는 굿하트의 법칙(Goodhart’s law)임.
• 초기 경력 연구자와 박사과정 학생을 비난할 수는 없음. 선택권을 주지 않는 체계에서 시작하며, ‘출판하지 않으면 도태된다’는 현실이 여전하고 체계를 바꿀 힘이나 영향력도 부족함.
• 기성 연구자들에게 공동체로서 무엇을 하고 있는지 질문함. 함께 앉아 무엇을 가치 있게 여기는지 결정하고, 그 가치에 합당한 중요성을 부여해야 함. 무엇으로 자신을 평가할지, 혹은 지표를 사용할지를 선택할 권한이 있는데도 지금은 그렇지 않은 것처럼 행동하고 있음.
• 슬로 사이언스(Slow Science)와 DORA 같은 책임 있는 연구 평가 관행을 과학의 ‘공동체 정원’으로 나아가는 출발점으로 제안함. 그러나 주변에서는 과학을 가능한 한 빨리 맥도날드화하도록 LLM을 활용하는 논의만 보이고, 그러지 않는 방법에 관한 대화는 거의 보이지 않음.
• 빠른 패스트푸드식 과학은 원하지 않음.