Apache Sourcelume은 데이터셋과 모델의 학습 데이터 출처·라이선스 정보를 기계가 읽을 수 있는 형식으로 기록하는 프로젝트다. 공개 예제는 71,891개 매개변수의 언어 모델을 학습하면서 데이터셋 기록과 연결된 모델 출처 기록을 함께 생성하지만, Sourcelume은 기록 내용이 사실인지 검증하지는 않는다.
Sourcelume은 데이터 출처와 관리 이력, 라이선스를 담는 버전 관리형 JSON-LD 명세와 Apache Atlas 기반 참조 레지스트리, REST API, 기록을 빌드 과정에 추가하는 도구로 구성된다. 이 프로젝트는 출처 주장의 진위를 판정하는 인증 기관이 아니다. 정보를 공통 형식과 안정적인 식별자로 공개해 다른 이들이 조회하고 비교할 수 있게 하는 것이 목적이다.
데이터셋 기록 명세인 ProvenanceRecord는 덴마크 재단 모델의 DFM Mímir 학습 말뭉치를 대상으로 적용됐다. 모델에 대해서는 TrainingProvenanceRecord를 추가했다. 모델 제작자가 이 기록을 공개하면 정규 식별자로 데이터셋 기록을 참조하고 토큰 수와 비중을 담을 수 있다. 공개 상태는 complete, partial, undisclosed로 표시할 수 있다.
apache/sourcelume-sample 저장소의 예제는 공개 저작물인 루이스 캐럴의 *이상한 나라의 앨리스*(프로젝트 구텐베르크 전자책 #11, 1865년)를 학습 자료로 삼는다. 학습 과정에서 모델의 토큰 수, 데이터 비중, 손실값, 타임스탬프를 담은 출처 기록도 함께 작성한다. 기록은 학습이 끝난 뒤 수작업으로 재구성하는 대신, 데이터를 사용하는 학습 파이프라인에서 생성된다.
현재 Sourcelume은 저장된 정보를 기계가 제출하고 다시 가져올 수 있게 하지만, 그 정보가 사실인지는 확인하지 않는다. 프로젝트는 초기 릴리스 목표를 향해 작업 중이며, 다음 목표로 증명 기능을 제시했다. 자세한 내용은 Apache Sourcelume 웹사이트에서 볼 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요