PhysicsForums에 대규모 언어 모델(LLM)이 쓴 글 약 11만 5,000건이 기존 이용자들의 계정에 소급해 추가됐다는 조사 결과가 나왔다. 조사에 따르면 최소 110명이 영향을 받았으며, PhysicsForums 운영자 그레그 번하트(Greg Bernhardt)는 이를 내부 테스트였다고 설명했다.
과거 게시물에 나타난 수상한 계정
PhysicsForums는 2001년 그레그 번하트가 시작한 과학 토론 포럼이다. 2010년대와 2020년대에 StackExchange 같은 중앙화된 사이트가 성장하면서 이용자가 줄었지만, 2003년 이후 URL을 바꾸거나 과거 글을 지우거나 사이트가 완전히 중단된 적은 없었다. 이런 지속성 덕분에 오래된 게시물은 과거 인터넷 이용자들의 생각과 대화를 살펴볼 수 있는 자료가 됐다.
2019년 8월 21일의 글 “cripes does anybody remember Google People”과 9월 7일의 글 “10 years of updates on my account, written by me”을 떠올리며, 이 조사에서는 2007년 HP 50g 그래프 계산기에 관한 게시물을 살폈다. 당시 댓글 작성자 ravenprp는 2006년 9월부터 2007년 4월까지 7개월 동안 게시물 2,891개를 쓴 것으로 표시돼 있었다. 하루 평균 13개가 넘는 글이다.
그의 게시물에는 대학 교직원, 기계공학도, 화학 공장 채용 관리자라는 이력뿐 아니라 구조공학자, 생물학자, 의학물리학자, 화학자, 항공우주 엔지니어 등 서로 다른 전문 분야가 등장했다. 본인도 항공우주·항공공학 엔지니어지만 공기역학 전문가는 아니라고 밝히는 등, 여러 분야에서 활동하는 인물처럼 보였다.
그러나 게시물 날짜는 계정 생성일보다 3년 앞서거나 마지막 로그인 날짜보다 1년 뒤인 경우가 있었다. 2019년 웹 아카이브에 저장된 프로필에는 게시물이 74개뿐이었다. 이후 게시물 2,817개가 데이터베이스에 직접 추가됐지만 프로필 정보는 갱신되지 않은 것으로 보인다.
원래 있던 74개 게시물에서 ravenprp는 MATLAB 교재를 묻는 전기공학도였고, 집적회로 문제를 풀거나 베르누이 방정식 자료를 알려주는 이용자였다. 조사에서는 그가 한때 실제 이용자였지만, 원래 글이 소급 추가된 글에 묻혔다고 본다.
다른 계정 kyle8921도 마지막 로그인 뒤 1년이 넘은 시점에 답변을 올렸고, 이후에도 3년 넘게 게시물을 쓴 것으로 기록돼 있다. 계정 기록과 관련 토론에서도 비슷한 정황이 확인됐다.
게시물 번호와 날짜로 추정한 규모
PhysicsForums는 각 글에 순차적인 고유 번호를 부여했다. 삭제나 복구 등으로 번호가 끊길 수는 있지만, 과거 글을 나중에 데이터베이스에 넣지 않았다면 번호가 큰 글의 날짜가 더 늦는 흐름은 유지돼야 한다. 조사에서는 무작위로 뽑은 게시물 3만 건을 살펴 이 규칙에서 벗어난 글을 찾았다.
2022년 MathHelpBoards와 합병하면서 약 15만 건의 게시물을 원래 날짜와 함께 가져온 사례처럼, 과거 날짜를 붙이는 작업이 항상 부적절한 것은 아니다. 조사에서는 이런 가져오기와 실제 작성 시점에 가까워 보이는 사례를 제외했다. 그 결과 LLM이 작성해 사람 계정에 귀속된 게시물이 약 11만 5,000건으로 추산됐다. 전체 사이트를 수집하지 않아 정확한 이용자 수는 알기 어렵지만, 대표 표본에서 최소 110개 계정이 영향을 받은 것으로 나타났다. 여기에는 초기 이용자, 한 번만 글을 쓴 계정, 장기 이용자, 창립자 번하트의 계정도 포함됐다.
조사에 따르면 소급 추가된 글은 전체 게시물 수의 1.6%, 전체 글자 수의 3%였다. 하지만 종료된 토론에 붙은 LLM 생성 FAQ와 요약까지 포함하면 사이트 전체 텍스트 가운데 사람이 쓴 비율은 66%에 그쳤다. 일부 스레드에서는 LLM이 쓴 부분이 전체 단어 수의 92%를 차지했다.
HP 50g 관련 스레드의 요약과 FAQ에는 정확하지 않은 정보가 담겼다는 것이 조사 내용이다. FAQ는 HP 50g 설명서에 나오지 않는 “HP 50g Spreadsheet”와 “GET”, “PUT” 기능을 언급했으며, 해당 검색어로는 당시 그 스레드만 검색됐다고 한다. 원문 스레드에는 계산기의 “HP 50g Connectivity Kit”가 존재한다는 사실 외에는 실제 설명서와 일치하지 않는 내용이 포함됐다고 조사 측은 지적했다. HP 50g 설명서
운영자의 설명과 포럼의 대응
포럼 이용자들은 2022년부터 ChatGPT 답변을 허용할지 논의했다. 이용자 Vanadium 50은 ChatGPT가 만든 “거의 알아보기 힘든 게시물”이 업무를 늘리고 서비스 거부(DoS) 공격으로 볼 수도 있다고 우려했다. 당시 운영자 번하트는 최소한 ChatGPT 콘텐츠를 인용 표시해야 한다는 의견을 냈다. 관련 정책 토론
2024년 11월 이용자 Renormalize는 Azntoon이 2012년 이후 로그인하지 않은 것으로 표시되는데도 2022년 토론에 글을 쓴 점을 발견했다. 당시에는 데이터베이스 오류로 추정됐고, 이후 Azntoon의 마지막 로그인 날짜는 2022년 12월로 바뀌었다. 이용자 토론과 아카이브 프로필
조사 과정에서 FAQ 문제도 포럼 이용자들이 발견했다. FAQ는 로그인한 이용자에게 보이지 않았던 것으로 보이며, 이후 삭제됐다. 다만 종료된 토론 상단의 LLM 생성 요약은 남아 있었다. FAQ 관련 토론
조사 측의 문의에 번하트는 회원들에게 도움이 될 AI 기능을 시험하고 있으며, 회원 다수가 AI 기능을 원하지 않는다는 2024년 설문 결과를 확인했다고 답했다. 시험 계정의 AI 답변은 품질 기준을 충족하지 못했고, 누락된 시험 계정을 발견하면 알려달라고 했다. 추가 질문에는 품질 문제를 제기한 Mathwonk과 새 모델로 개선했지만 여전히 부족하다고 설명했다.
번하트는 답변이 1년 이상 없는 토론에 양질의 답변을 제공하는 봇도 구상했지만, 이 역시 잘되지 않았다고 밝혔다. 대신 답변이 없는 토론을 정리하는 방안을 고려한다고 했다. 조사 측은 110명 이상의 기존 이용자 계정을 1년 가까운 기간에 걸쳐 네 차례에 걸쳐 시험에 사용했고, 11만 5,000건의 글을 올렸다는 설명이 사실과 부합하는지 의문을 제기했다.
사람 이름으로 남는 온라인 기록
이 문제는 계정에 연결된 정체성과 기록을 누가 통제하는가에 관한 문제이기도 하다. 원래 이용자가 쓰지 않은 글을 기존 계정에 채우면 그 사람이 남긴 기여가 희석되고, 다른 사람의 견해가 그 이름에 연결된다. 오래된 온라인 기록은 사라진 서버와 웹사이트를 추적하는 것만으로도 보존하기 어려운데, 여기에 소급 입력된 AI 글까지 더해지면 과거 기록을 구분하기가 더 힘들어진다는 지적이다.
번하트는 2025년 1월 3일 소셜미디어에 “죽은 인터넷 이론이 현실이 되고 있다”고 썼다. 게시물
죽은 인터넷 이론은 인터넷 콘텐츠의 대부분 또는 상당 부분이 인간이 만든 것이 아니라는 주장이다. 이 이론은 2019년 이름을 얻었으며, 처음 제기될 당시에는 오늘날처럼 긴 글을 그럴듯하게 작성하는 LLM이 널리 알려지기 전이었다. 당시 인터넷이 달라졌다는 감각에는 전 세계 이용자의 증가, 컴퓨터에서 스마트폰으로의 이동, 참여를 늘리는 알고리즘의 영향 등도 작용했을 수 있다고 원문은 짚는다. 하지만 이제는 LLM도 그 변화의 일부라고 주장한다.
조사에서 인용한 2024년 포럼 이용자 PeterDonis의 말처럼, AI로 적은 노력만 들여 대량의 무의미한 글을 만들어 커뮤니티를 압도할 수 있다는 우려가 있었다. PhysicsForums 운영과 AI 시험을 둘러싼 논쟁은 사이트를 유지하는 비용과 이용자 신뢰, 온라인 기록의 보존 사이의 긴장을 보여준다. 원문은 커뮤니티가 살아남기 위해 변화할 필요가 있더라도, 기존 이용자의 기록을 AI 콘텐츠로 다시 쓰는 일이 어떤 이익을 주는지 물으며 글을 맺는다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요