원문 캡처 · huggingface.co
원문 캡처 · huggingface.co

IBM은 Granite Switch 4.1의 8B·30B 모델에 대화, 일반·전문 판단, 음성 인식 기능을 결합해 하나의 호스팅 엔드포인트에서 제공한다고 밝혔다. 음성을 텍스트로 바꾸고 요약과 유해 콘텐츠 확인까지 하는 데모도 공개했다.

두 모델에는 일반 판단용 Decision aLoRA, 안전 관련 판단을 위한 Guardian aLoRA, 음성 인식 모델 Granite-Speech-5.0-Turbo-CTC가 포함된다. IBM은 Guardian aLoRA가 안전 관련 판단 과제에서 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 평균적으로 높은 성능을 냈다고 설명했다. Granite-Speech-5.0-Turbo-CTC는 OpenASR 리더보드에서 가장 빠른 음성 인식 모델이라고 소개했다.

IBM에 따르면 이 구성은 기반 모델만 사용할 때와 GPU 메모리 사용량이 거의 같으며, 기반 모델의 KV 캐시를 어댑터 기반 판단 작업에서 재사용한다. vLLM 플러그인을 이용해 실행할 수 있고, llama.cpp와 후속 플랫폼도 기본 추론을 지원한다. /v1/systemone API 호출을 처리하면서 일반 대화 요청도 함께 받을 수 있다.

Speech-to-Decisions 데모에서는 granite-switch-4.1-8b가 실시간으로 음성을 받아 적고 요약하며, 유해 콘텐츠와 사용자가 정의한 15개 추가 항목을 검사한다. IBM은 30B 모델과 4개의 전문 aLoRA를 결합한 Granite-Switch-4.1-30B가 5단계 RAG 작업에서 Jev-27B보다 빠르게 완료했다고도 밝혔다. 다만 해당 비교의 구체적인 시간이나 측정 조건은 자료에 제시되지 않았다.

모델은 8B·30B 모델 카드 모음에서 확인할 수 있다. 사용자는 Granite Libraries 어댑터를 조합해 자체 모델을 구성할 수 있으며, IBM은 Mellea에서 어댑터를 학습하기 위한 SDK를 향후 공개할 계획이라고 밝혔다.