연구진이 새 텍스트 생성법의 속도가 최대 31배 빠르다고 보고했다

연구진은 Next-Concept Modeling(NCM)이라는 새 텍스트 생성법을 제안했습니다. 텍스트를 단계별 개념 코드(concept code)로 나눠 병렬 생성합니다. 세 텍스트 벤치마크에서 확산 모델과 비슷하거나 더 나은 품질을 보였습니다. 속도는 10~31배 빨랐습니다. 저는 생성 순서를 바꾸면서 품질을 유지하려는 발상에 눈길이 갑니다.

NCM은 스도쿠에서도 기준선을 앞섰습니다. 모든 난이도에서 자기회귀 모델(autoregressive model)과 확산 모델을 모두 제쳤습니다. 텍스트 밖 과제에서도 성능을 확인한 점은 흥미롭습니다. 다만 스도쿠 결과만으로 텍스트 생성의 10~31배 속도까지 확인되지는 않습니다.

NCM은 수준을 하나씩 생성하고, 각 수준 안의 코드는 동시에 예측합니다. 확산 언어 모델(diffusion language model)은 샘플링 단계를 줄이면 품질이 빠르게 떨어지기 쉽습니다. NCM은 그 문제를 겨냥합니다. LM1B에서는 같은 규모의 기준선보다 퍼플렉서티(perplexity)가 낮았습니다. 실행 속도도 21배 높았다는 결과는 반갑습니다.

세 텍스트 벤치마크에서 품질과 속도가 한 방식으로 나온 것은 아닙니다. OpenWebText에서는 경쟁력 있는 성능을 보이며 10배 빨랐습니다. XSum에서는 기준선과 같은 ROUGE-L 점수를 내면서 속도는 31배에 달했습니다. 최고치만 가져와 모든 텍스트 작업에 기대하면 빗나갑니다. 비교할 과제와 품질 지표가 달라지면 실제로 얻는 속도 향상도 달라집니다.

도입을 검토한다면 현재 생성 업무와 가까운 평가 과제를 고르십시오. 품질 기준을 정한 뒤, 현재 모델과 NCM에 같은 입력과 출력 조건을 적용해 결과를 비교하십시오. 요청부터 결과까지 걸린 시간도 재면 품질을 지키면서 대기 시간이 줄었는지 알 수 있습니다.

새 생성 방식을 시험할 때 품질과 속도 가운데 무엇을 먼저 확인하십니까?