TL;DR

  • NüshuRescue가 최소 데이터로 대형 언어 모델(LLM)을 소멸 위기 언어에 적용하고 평가 자동화와 말뭉치 확장을 통해 언어 부흥을 지원함.
  • 중국 야오족 여성이 가부장적 사회에서 자기표현에 사용한 희귀 문자 Nüshu가 저자원 언어 복원의 대표 사례임.
  • NCGold가 Nüshu-중국어 문장 500개로 구성된 최초의 공개 병렬 말뭉치임.
  • Nüshu를 사전 학습하지 않은 GPT-4-Turbo가 NCGold의 짧은 예시 35개만으로 미사용 문장 50개에서 48.69% 번역 정확도를 기록함.
  • NüshuRescue가 새로 번역한 현대 중국어 문장 98개NCSilverFastText 기반·Seq2Seq 모델을 제공하며 데이터와 코드를 공개함.

연구 배경과 NüshuRescue

  • 소멸 위기 또는 소멸 언어의 보존과 부흥은 문화유산을 보존하고 언어학·인류학 등의 분야를 풍부하게 하는 의미 있는 과제임.
  • 해당 언어는 일반적으로 저자원 언어이므로 복원에 많은 노동력과 비용이 필요함.
  • Nüshu는 중국 야오족 여성이 가부장적 사회 안에서 자기표현을 위해 역사적으로 사용한 희귀 문자임.
  • NüshuRescue는 최소 데이터로 소멸 위기 언어를 대형 언어 모델(LLM)에 학습시키도록 설계된 인공지능 기반 프레임워크임.
  • 프레임워크가 평가를 자동화하고 대상 말뭉치를 확장해 언어 부흥을 가속함.

데이터셋과 모델 성과

  • 기초 구성 요소로 NCGold를 개발함.
  • Nüshu와 중국어로 구성된 500문장 병렬 말뭉치임.
  • 해당 유형으로는 최초의 공개 데이터셋임.
  • Nüshu에 사전 노출이 없는 GPT-4-Turbo에 NCGold의 짧은 예시 35개만 제공함.
  • 미사용 문장 50개에서 48.69% 번역 정확도를 달성함.
  • 다양한 길이의 현대 중국어 문장 98개를 새로 번역해 NCSilver를 생성함.
  • Nüshu 연구를 추가로 지원하기 위해 FastText 기반 모델과 Seq2Seq 모델을 개발함.

공개 리소스와 연구 의의

  • NüshuRescue가 광범위한 인간 입력의 필요성을 줄이는 다목적·확장형 도구임.
  • 모든 데이터셋과 코드를 GitHub 저장소에 공개함.
  • 논문은 ACL Anthology에 수록됨.
  • 논문 PDF는 https://aclanthology.org/2025.coling-main.468.pdf 에서 확인 가능함.
  • Ivory Yang, Weicheng Ma, Soroush Vosoughi가 작성했으며, 2025년 1월 아부다비에서 열린 제31회 전산언어학 국제 학술대회 논문집에 수록됨.
  • 수록 페이지는 7020–7034이며, 학술대회는 Association for Computational Linguistics가 발행함.