엔비디아와 IIT Madras의 AI4Bharat가 22개 인도 언어로 구성한 약 2.8조 토큰 규모의 사전학습 데이터셋 Nemotron-pretraining-Indic-v1과 데이터 생성 파이프라인을 공개할 예정이다. 데이터셋은 원어 문자 데이터와 12개 언어의 로마자 표기 데이터를 포함하며, 생성 레시피를 공개해 자체 문서에 맞춰 번역·품질 평가·수정 과정을 적용할 수 있도록 한다.
데이터셋과 생성 방식
데이터셋에는 원어 문자 토큰 2조 6,010억 개와 로마자 표기 토큰 2,246억 개가 담겼다. 수치는 Gemma-4 토크나이저 기준이며, 같은 원문에서 파생된 번역과 문자 표기 변형도 기록에 포함된다. 따라서 고유한 영어 문서의 수나 실제 학습에 사용된 토큰 예산과는 다르다. 구성 언어는 데이터셋 안내에서 참고할 수 있다.
엔비디아는 Nemotron-CC-v2의 15개 하위 데이터셋에서 웹 문서, 질의응답, 수학, 코드 등 영어 자료를 가져왔다. NeMo Data Designer를 사용해 번역과 품질 평가, 선택적 수정을 수행하고, 결과를 원문 문서까지 추적할 수 있도록 출처 식별자를 보존했다.
12개 언어에는 Gemma-4-31B-it로 문서 전체를 번역하고, 원문과 대조해 의미·유창성·용어·문체·서식을 평가하는 방식을 적용했다. 100점 만점의 평가에서 75점 이상인 결과만 채택했다. 기준에 미달한 번역은 평가 피드백을 바탕으로 수정한 뒤 다시 평가했다. 이 과정에서 원어 문자 및 로마자 표기 데이터 4,384억 토큰을 복구했으며, 이 양은 전체 데이터셋 수치에 이미 포함돼 있다. 로마자 표기는 채택된 번역 일부를 라틴 문자로 변환해 만들었다.
나머지 10개 언어에는 Bodhan AI의 Indic Translate를 사용하고 Gemma-4-31B-it로 번역 품질을 평가했다. 산탈리어의 긴 문서는 겹치는 구간으로 나눠 번역하고 다시 구성했으며, 마니푸리어는 벵골 문자로 번역한 뒤 메이테이 마예크 문자로 변환했다. 이 10개 언어의 데이터는 원어 문자로만 제공되며, 피드백 기반 재작성은 적용하지 않았다.
학습 결과와 한계
Nemotron 3.5 Super VL의 지속 사전학습에는 설정된 1,000억 학습 토큰 중 10%인 100억 토큰이 합성·자연 인도 언어 텍스트로 배정됐다. 나머지 90%는 앞선 학습 데이터 혼합 비율을 유지했다. 해당 학습 단계 전후로 비교했을 때 MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K 등 5개 벤치마크 점수가 모두 올랐고, 상승 폭은 4.98~9.82%포인트였다. 이 비교는 합성 데이터만의 효과가 아니라 합성·자연 데이터가 함께 들어간 학습 단계의 결과다. GSM8K 평가는 서비스 컨텍스트 한도를 넘겨 오디아어를 제외했다.
Nemotron 3.5 Super VL과 이전 세대 Nemotron 3 Super를 비교한 평가에서는 6개 작업 벤치마크 가운데 5개에서 점수가 높았지만, IFEval 1.5의 지시 따르기 점수는 2.04포인트 낮아졌다. IndiVibe의 네 가지 언어 품질 항목에서는 모두 개선을 보였다. 다만 IndiVibe 수치는 직접적인 일대일 승률이 아니라 조건부 선호도 점수다. 자세한 비교 조건은 Nemotron 3.5 Super VL 기술 보고서에 실렸다.
제작 측은 번역 데이터가 인도 언어로 원래 작성된 텍스트를 대체하거나 지역 지식과 문화를 보장하지 않는다고 밝혔다. 품질 평가는 주로 자동화했으며, 사람의 표본 검토 범위는 언어별로 다르다. 12개 언어 작업에서는 번역 모델이 평가자 역할도 맡았고, 채택된 텍스트에 오류가 남을 수 있다. 10개 언어 작업도 원어민 검증을 더 폭넓게 해야 한다. 출처 ID 검사는 처리 과정의 중복을 제거하지만, 의미가 비슷한 콘텐츠를 찾아내는 중복 제거는 아니다.
데이터와 생성 레시피 활용
데이터 공개 후에는 필요한 언어와 문자 설정을 골라 샘플을 확인하고, 학습에 앞서 데이터셋 카드와 라이선스를 검토해야 한다. 예를 들어 hi-Deva-IN은 데바나가리 문자 힌디어, hi-Latn-IN은 로마자 표기 힌디어를 뜻한다. Hugging Face Datasets 스트리밍 안내를 이용하면 전체를 내려받지 않고 기록을 살펴볼 수 있으며, 재현 가능한 실험을 위해 공개 후 데이터셋 리비전을 고정하라고 안내한다.
공개된 Nemotron Bharat 번역 플러그인은 번역·평가 프롬프트, 선택적 피드백 기반 재작성, 문서 구간 분할, 문자 변환 기능을 제공한다. 설정 안내에서 모델과 언어를 고르고 프롬프트와 재작성 매개변수를 조정할 수 있다. 자체 문서의 작은 표본으로 먼저 번역 품질과 코드·수학·서식 보존 여부를 확인하고, 원어민 검토를 거쳐 프롬프트와 검사를 다듬은 뒤 규모를 늘리는 방식이 권장된다. 플러그인은 후보 데이터와 점수를 반환하며, 실제 학습 데이터에 포함할지는 별도의 필터링 정책으로 결정한다.
보고서와 평가 세부 사항은 인도 언어 사전학습 데이터와 평가 보고서에서 확인할 수 있다. 생성 레시피와 함께 데이터 혼합, 합성 데이터 규모, 문자 표기 범위를 다룬 연구도 공개됐지만, 복구된 데이터를 포함한 전체 데이터셋과 나머지 10개 언어를 대상으로 한 통제 실험은 후속 과제로 남아 있다.
부록: 원문 예시
from datasets import get_dataset_split_names, load_dataset dataset_id = input("Repository ID from the dataset card: ").strip() config = "hi-Deva-IN" splits = get_dataset_split_names(dataset_id, config_name=config) print("Available splits:", splits) data = load_dataset( dataset_id, name=config, split=splits[0], streaming=True ) print(next(iter(data)))
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요