Nutrient가 문서의 텍스트와 페이지 이미지를 함께 읽고, 생성 문장 대신 선택지와 점수를 반환하는 문서 판단 모델을 공개했다. Nutrient는 이 모델을 문서 분류와 병합 PDF 분할, 추출 결과 검증에 적용하며, 답변 하나를 내는 데 약 200ms가 걸린다고 밝혔다.
이 모델은 예·아니요, 객관식, 점수화처럼 답이 정해진 질문에 적합하다. 추출된 값이 문서에 근거하는지 확인하고, 문서를 분류하거나 병합 PDF에서 문서가 나뉘는 지점을 찾는다. 점수는 모델의 답변 신뢰도를 나타내며, 별도의 평가 데이터셋에서 실제 정답률에 맞춰 보정했다고 Nutrient의 인공지능 엔지니어 오스틴 응우옌(Austin Nguyen)은 설명했다.
Nutrient에 따르면 답변 하나의 처리 시간은 약 200ms다. DWS에서 문서 분류는 문서당 약 0.5~1초, 분할은 약 5초가 걸린다. 처리 시간은 입력 크기와 하드웨어, 비교 대상 모델에 따라 달라질 수 있다. 회사는 범용 대규모 언어 모델(LLM)이 답변을 단어 단위로 생성하는 데 드는 지연과 비용을 줄이면서 판단 정확도를 유지했다고 설명했다.
Nutrient가 공개한 벤치마크에서 병합 PDF 분할의 F1 점수는 96.2%로, Typesafe AI의 Jev는 63.7%였다. 이 비교는 해당 분할 과제의 결과다. Nutrient 모델은 문서 작업에 맞춰 조정됐고 텍스트와 이미지 입력을 모두 받는다. 인터뷰 당시에는 Jev와 달리 이미지 입력을 지원하는 점도 차이였지만, Nutrient는 인터뷰 이후 Typesafe AI가 Jev에 이미지 입력을 추가했다고 덧붙였다. 결과는 Hugging Face의 문서 분할 리더보드와 그라운딩 리더보드, 문서 분류 리더보드, 개방형 분류 리더보드에 공개됐다.
제약도 있다. 선택지와 점수만 출력하므로 답변에 대한 글 설명을 제공하지 못하며, 여러 단계의 추론이 필요한 작업에서는 약하다. 설명·요약·초안처럼 문장 출력이 필요하면 LLM이 여전히 적합하다. 두 모델을 함께 써서 판단 모델이 답변이 필요한 사례만 LLM으로 전달하도록 구성할 수도 있다.
모델은 Nutrient DWS의 분류 및 문서 분할 API에서 기본 모델로 쓰이며, 데이터 추출 API의 추출 결과를 문서와 대조해 오류를 확인하는 기능도 지원한다. 직접 호출하려면 AI Gateway의 판단 API를 이용할 수 있다. 작동 예시는 Hugging Face 데모에서 볼 수 있고, 자세한 내용은 모델 카드와 AI 모델 페이지에 공개돼 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요