일부 언어는 영어보다 같은 내용을 처리하는 데 더 많은 토큰이 필요해 AI 이용 비용이 커질 수 있다는 연구 결과가 나왔다. 토큰 수가 늘면 응답이 늦어지고 대화 기록이나 문서를 담을 공간도 줄어들 수 있다.
Coalition for Language Equity in AI Research의 연구는 토크나이저가 텍스트를 모델이 처리하는 단위인 토큰으로 나누는 과정에서 언어별 차이가 생긴다고 설명한다. 인터넷에서 많이 쓰이는 20개 언어 안에서도 토큰 사용량이 가장 많은 언어는 가장 적은 언어보다 1.5~5배 많았다. 분석 대상을 200개 언어로 넓히자 한 AI 모델에서 토큰 비용 격차가 17배까지 벌어졌다.
연구진은 이를 ‘토크나이저 세금’이라고 불렀다. 다만 언어의 희소성만이 토큰 수를 결정하는 것은 아니다. 문자를 표기하는 문자 체계도 영향을 준다. 연구에 따르면 아스투리아스어는 화자 수가 비교적 적고 Common Crawl 데이터가 없지만, 라틴 문자와 관련 로망스어의 데이터 덕분에 유리한 점이 있다. 반면 버마어, 티베트어, 티피나그어, 크메르어, 라오어, 올 치키처럼 토크나이저가 접할 기회가 적은 문자 체계를 쓰는 언어는 분석한 모델 대부분에서 불리했다. Common Crawl
Activate AI 공동창업자 프라튜시 초두리(Pratyush Choudhury)는 비영어권 언어에서 토큰을 더 쓰면 문서와 대화 기록을 담을 공간이 줄고 답변 생성에도 더 많은 작업이 필요하다고 말했다. 특히 과거 대화가 중요한 서비스에서는 언어별 토큰 효율 차이가 서비스 품질에도 영향을 줄 수 있다고 설명했다.
Navana.ai 공동창업자 겸 CEO 라울 나바나티(Raoul Nanavati)는 인도 과학연구소(Indian Institute of Science)와 게이츠 재단이 지원하는 협력 사업 RESPIN을 사례로 들었다. 이 사업은 38개 방언의 원어민에게서 텍스트와 낭독 음성을 수집했다.
그러나 마야 리서치(Maya Research) CEO 디만트 레디(Dheemanth Reddy)는 고품질 학습 데이터를 늘리는 것만으로 토크나이저 격차가 해결되지는 않는다고 말했다. 언어별 토큰 가격은 빠르게 낮아지고 다국어·합성 데이터가 모델 품질을 높일 수 있지만, 격차를 실제로 줄이려면 AI 연구소가 새 토크나이저를 설계할 때 언어와 문자 체계를 고려해야 한다는 설명이다.
초두리는 언어별 효율을 정확도·속도·신뢰성과 함께 제품 요구사항으로 다뤄야 한다고 제안했다. 모든 언어에서 완전한 평등을 이루기는 어렵더라도, 지속적인 격차에는 설명과 개선 계획이 필요하며 주요 연구소가 언어별로 비슷한 과제를 성공적으로 수행하는 데 드는 비용을 공개해야 한다고 말했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요