Mr. Chatterbox가 빅토리아 시대 문헌으로 대화한다

Mr. Chatterbox는 19세기 영국 문헌만으로 학습한 언어 모델 계열이다. 345M·500M·1.2B·2.7B 매개변수 기반 모델과 2.7B 채팅 조정 모델이 공개됐으며, 웹에서 직접 대화할 수 있다.

• Mr. Chatterbox와 대화하기
• 모델 모음, 학습 코드, 미세조정 데이터셋
• Mr.Chatterbox-345M, Mr.Chatterbox-500M, Mr.Chatterbox-1.2B, Mr.Chatterbox-2.7B, Mr.Chatterbox-2.7B-Chat

제작자는 모델을 19세기 영국 제도에서 출판된 퍼블릭 도메인 문헌으로 학습시켰다. 자체 토크나이저로 처리한 학습 자료는 550억 토큰이 조금 넘는다. 문학·역사·철학·의학 자료가 포함됐으며, 데이터 대부분은 1870년대 이후 출판물이다. 모델은 Llama 프레임워크를 사용해 각 크기에 맞는 Chinchilla 최적 학습량으로 훈련했다.

제작자가 AICHR의 Chronologic-EN 1.0 벤치마크에서 평가한 결과, Mr.Chatterbox-2.7B-Base는 전체 점수에서 Talkie-13B 다음으로 높은 성적을 냈다. 제작자는 제약된 생성과 지식·추론 정확도에서 더 큰 모델과 비슷하거나 앞섰다고 설명했다. 다만 지시 조정은 지식·추론 성능을 낮추고 제약된 생성과 근접 정확도를 높였다. 벤치마크 질문은 1831~1930년 문헌을 다루지만, 1900년 전후 정확도는 각각 35.2%, 34.3%였다. 제작자는 1900년 이후 지식을 묻는 질문이 상대적으로 적었던 점을 이유로 들었다.

미세조정 데이터의 응답 부분 가운데 97.2%는 당시 문헌에서 직접 가져왔다. 나머지는 문헌을 조금 고치거나 모델이 생성한 자료다. 학습 데이터에는 문답 형식의 교리문답서와 소설·희곡 대화, 조언서와 편지 쓰기 안내서 등이 포함됐다. 현대의 질문에 시대 문헌 기반 답변을 연결하는 과정에는 질문 생성과 응답 평가, 문헌에서 대화 응답을 찾는 방식 등을 활용했다.

제작자는 모델이 인종차별적 견해와 우생학을 반복하는 문제를 확인한 뒤, 존 스튜어트 밀(John Stuart Mill) 등 평등주의 사상가의 글을 데이터에 추가했다. 이후에도 편향된 답변이 남아 모델이 직접 생성한 평등주의 응답 312건을 1만 9,939건의 데이터에 넣었다. 제작자는 이 자료가 사용한 유일한 합성 데이터라고 밝혔다. 대화에서 응답 유형을 고르는 ‘대화 행위(dialogue act)’ 태그도 도입했다.

제작자는 모델이 완벽하지 않으며, 제한된 시간과 연산 예산 때문에 RLHF 같은 추가 학습을 하지 못했다고 밝혔다. 또 모델이 역사적 문헌의 관점을 재현하는 과정에서 당시의 차별적 태도를 답변에 반영할 수 있었고, 이를 줄이기 위해 데이터와 학습 방식을 조정했다고 설명했다. 프로젝트 홈페이지에서 프로젝트 정보를 확인할 수 있다.