라므바룬 코말지트 리티시(Rambarun Komaljeet RitishReal)는 6GB 그래픽 메모리를 갖춘 노트북에서 11억 매개변수 언어 모델을 사전학습하는 파이프라인을 구현했다고 밝혔다. 다만 전체 학습을 끝내 완성 모델을 만든 것은 아니며, 측정한 학습 속도로는 전체 사전학습에 약 132~211일이 걸릴 것으로 추정한다. 이 결과는 한 번의 실행을 기준으로 했고, 일부 수치는 실측이 아닌 추정이다.
핵심은 모델 블록을 한 번에 하나씩 학습하고 나머지는 시스템 메모리에 두는 방식이다. 여기에 학습 중간 결과를 저장하는 대신 필요할 때 다시 계산하고, 가중치를 세 가지 값으로 양자화해 저장하는 방법 등을 더했다. 블록 단위 학습은 메모리를 줄이는 대신 같은 데이터와 시간으로 전체 모델을 학습하는 방식보다 퍼플렉시티가 약 1.6배 나빠지는 대가가 있다. 가중치 양자화는 학습 중 메모리를 줄이지 않고 체크포인트와 추론 단계에서 용량을 줄인다.
게시자는 6GB 카드에서 최고 메모리 사용량이 5.24GB였고, 초당 2,656개 토큰을 처리했다고 보고했다. 전체 학습 시간은 블록 단위 학습의 품질 저하를 감수하는지에 따라 약 132~211일로 제시했다. 이 수치는 완성된 모델의 성능을 보여주는 것이 아니라 실제 장비에서 측정한 학습 구간과 계산에 근거한다.
8GB·12GB·16GB·24GB 카드에 관한 모델 크기와 시간은 실측이 아니다. 6GB에서의 결과를 바탕으로 계산했으며, 8GB와 12GB 시간은 같은 속도의 노트북 칩을 가정한 추정이다. 게시자는 이 수치를 다른 카드에서의 보장이 아닌 합리적인 추측으로 봐야 한다고 설명했다. 또 약 4,800만 매개변수를 넘는 모델은 아직 수렴까지 학습한 적이 없고, 비교 실험도 여러 난수 시드로 반복하지 않아 결과에 우연이 섞였을 가능성이 있다고 밝혔다.
학습한 모델은 기본적인 대화와 간단한 사실 질문에 답하지만, 제공된 문서에서 구체적인 내용을 찾아 정확히 기억하는 능력은 약하다고 한다. 코드에는 Apache 2.0 라이선스가 적용되며, 직접 학습한 가중치는 학습한 사람의 소유다.
30분간 노트북에서 10억 매개변수 모델을 사전학습하는 영상 · GitLab 코드 · DOI 10.5281/zenodo.22725431
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요