LLM 이야기 88.3%에 같은 단어 11개가 등장했다

2만 편의 이야기 중 88.3%에 같은 11개 단어가 등장했습니다. 실 해밀턴(Sil Hamilton)과 데이비드 밈노(David Mimno)는 네 가지 최신 모델에 다섯 가지 프롬프트를 적용했습니다. 모델마다 차이도 거의 없었습니다. 숫자보다 마음에 남는 것은 모델이 달라도 이야기의 익숙한 재료가 비슷했다는 점입니다.

27개 LLM을 12개국 155개 주제에서 평가한 연구는 인식론적 다양성이 최근 3년간 늘었다고 보고했습니다. 모든 모델은 검색 기준선에 못 미쳤고 영어 지식에 치우쳤습니다. 이번 연구는 이야기 생성에서 모델 간 반복이 얼마나 강한지를 2만 편으로 살핍니다.

이 연구가 흥미로운 까닭은 반복을 인상평으로 남기지 않고, 여러 모델과 수만 편의 이야기에서 셌다는 데 있습니다. 특정 이름이나 등대 같은 배경이 몇 번 눈에 띄는 수준을 넘어, 생성된 이야기 전반에 얼마나 퍼졌는지를 비교할 수 있게 됐습니다.

다만 네 모델에 다섯 프롬프트를 적용한 결과를 모든 모델과 창작 상황에 그대로 넓힐 수는 없습니다. 연구진은 이 단어들이 사후 학습 데이터의 평균적인 이야기에는 드물지만, 선호도 데이터에는 나타난다고 설명합니다. 그 데이터가 실제로 모델의 반복을 일으켰다는 인과관계까지 이 분석만으로 확정되지는 않습니다.

자주 쓰는 글쓰기 도구에 서로 다른 프롬프트로 이야기를 몇 편 요청하고, 인물 이름과 장소가 얼마나 겹치는지 세어 보십시오. 겹침이 눈에 띄면 이름이나 배경을 직접 지정해 다시 요청해 보고, 결과가 실제로 달라지는지 비교해 보십시오.

이야기나 글을 쓸 때 인물 이름과 배경은 어떤 기준으로 정하십니까?