NCM은 텍스트 생성을 확산 모델보다 최대 31배 빠르게 한다

스탠퍼드 연구팀이 텍스트를 큰 개념에서 세부 표현으로 단계적으로 만드는 새 언어 모델 방식을 내놨습니다. 연구팀은 여러 과제에서 확산 언어 모델(diffusion language model)과 비슷하거나 더 나은 품질을 냈다고 보고했습니다. 생성 속도는 10~31배 빨랐고, 학습 토큰은 약 4~5배 적었습니다. 제 눈에는 속도 숫자보다 발상이 더 오래 남습니다. 문장을 한 토큰씩 잇는 대신 개념부터 구체화해 생성 순서를 바꾸기 때문입니다.

Inception의 Mercury 2.5는 확산형 언어 모델의 병렬 생성을 제품 성능으로 내세웠습니다. 스탠퍼드의 Next-Concept Modeling(NCM)은 확산 방식을 그대로 다듬지 않습니다. 큰 개념에서 세부 표현으로 내려가는 다른 생성 구조를 시험합니다. 빠른 생성의 경쟁이 계산 순서를 바꾸는 쪽으로 넓어지고 있습니다.

NCM은 텍스트를 거친 코드부터 세밀한 코드까지 계층으로 나타내고, 앞 단계의 복원 결과를 바탕으로 다음 계층을 병렬 예측합니다. 한 토큰씩 이어 가는 자기회귀(autoregressive) 방식이나 매 단계 전체 시퀀스를 다듬는 확산 방식과 처리 단위가 다릅니다. 흥미로운 점은 이 방식이 품질을 희생하지 않았다는 연구팀의 결과입니다. XSum에서는 기준선과 같은 ROUGE-L 점수를 내면서 31배 빨랐습니다. LM1B와 OpenWebText에서는 학습 토큰을 각각 약 4.9배, 4배 적게 썼습니다.

다만 31배는 NVIDIA H100 SXM 80GB에서 XSum 요약을 비교한 결과입니다. 품질 비교는 ROUGE-L 점수를 기준으로 했습니다. 다른 장비나 실제 이용자가 중요하게 보는 정보 누락까지 같은 결과가 나온다는 뜻은 아닙니다. 더 큰 모델의 결과는 예비적이며, 개념부터 만들면 전체 계획에 유리하다는 설명은 연구팀의 가설입니다. 저는 최고 속도보다 다른 장비와 문서에서도 핵심 내용을 지킨다는 재현 결과에 더 기대를 둡니다.

가능하다면 같은 장비·문서로 NCM과 기존 요약 모델을 비교해 속도와 핵심 사실 누락을 확인하십시오. 속도만 빨라지고 누락이 늘면 업무 이득이 아닙니다. 둘 다 나아지면 작은 문서 묶음부터 실제 작업에 넣어 보십시오.

요약 도구를 고를 때 속도와 핵심 정보 보존을 어떤 순서로 확인하십니까?