TL;DR
- NüshuRescue가 최소 데이터로 대형 언어 모델(LLM)을 소멸 위기 언어에 적용하고 평가 자동화와 말뭉치 확장을 통해 언어 부흥을 지원함.
- 중국 야오족 여성이 가부장적 사회에서 자기표현에 사용한 희귀 문자 Nüshu가 저자원 언어 복원의 대표 사례임.
- NCGold가 Nüshu-중국어 문장 500개로 구성된 최초의 공개 병렬 말뭉치임.
- Nüshu를 사전 학습하지 않은 GPT-4-Turbo가 NCGold의 짧은 예시 35개만으로 미사용 문장 50개에서 48.69% 번역 정확도를 기록함.
- NüshuRescue가 새로 번역한 현대 중국어 문장 98개의 NCSilver와
FastText기반·Seq2Seq모델을 제공하며 데이터와 코드를 공개함.
연구 배경과 NüshuRescue
- 소멸 위기 또는 소멸 언어의 보존과 부흥은 문화유산을 보존하고 언어학·인류학 등의 분야를 풍부하게 하는 의미 있는 과제임.
- 해당 언어는 일반적으로 저자원 언어이므로 복원에 많은 노동력과 비용이 필요함.
- Nüshu는 중국 야오족 여성이 가부장적 사회 안에서 자기표현을 위해 역사적으로 사용한 희귀 문자임.
- NüshuRescue는 최소 데이터로 소멸 위기 언어를 대형 언어 모델(LLM)에 학습시키도록 설계된 인공지능 기반 프레임워크임.
- 프레임워크가 평가를 자동화하고 대상 말뭉치를 확장해 언어 부흥을 가속함.
데이터셋과 모델 성과
- 기초 구성 요소로 NCGold를 개발함.
- Nüshu와 중국어로 구성된 500문장 병렬 말뭉치임.
- 해당 유형으로는 최초의 공개 데이터셋임.
- Nüshu에 사전 노출이 없는 GPT-4-Turbo에 NCGold의 짧은 예시 35개만 제공함.
- 미사용 문장 50개에서 48.69% 번역 정확도를 달성함.
- 다양한 길이의 현대 중국어 문장 98개를 새로 번역해 NCSilver를 생성함.
- Nüshu 연구를 추가로 지원하기 위해
FastText기반 모델과Seq2Seq모델을 개발함.
공개 리소스와 연구 의의
- NüshuRescue가 광범위한 인간 입력의 필요성을 줄이는 다목적·확장형 도구임.
- 모든 데이터셋과 코드를 GitHub 저장소에 공개함.
- 논문은 ACL Anthology에 수록됨.
- 논문 PDF는 https://aclanthology.org/2025.coling-main.468.pdf 에서 확인 가능함.
- Ivory Yang, Weicheng Ma, Soroush Vosoughi가 작성했으며, 2025년 1월 아부다비에서 열린 제31회 전산언어학 국제 학술대회 논문집에 수록됨.
- 수록 페이지는 7020–7034이며, 학술대회는 Association for Computational Linguistics가 발행함.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요