Arc53가 RAG·에이전트 앱의 검색 관련성, 프롬프트 인젝션, 대화 분석 등을 처리하는 0.41B 모델 arc-decide-0.4b-v0.2를 공개했다. GPU 없이 4개 CPU 코어와 1GB 메모리 안에서 실행하도록 설계됐으며, 텍스트를 생성하는 대신 한 번의 추론으로 질문별 확률을 반환한다. 모델 페이지
이 모델은 arc-decide-0.6b-v0.1의 28개 레이어 중 앞의 16개를 사용하고, v0.1의 데이터와 답변을 섞어 재훈련했다. 문서 검색 관련성, 안전장치, 라우팅, 의도 분류, 대화 분석과 도구 사용 등을 영어·스페인어·중국어·러시아어로 다룬다. 추론 질문은 예·아니요, 2~16개 선택지, 3~4단계 점수 형식으로 구성한다.
Arc53가 제시한 CPU 측정에서 기본 ONNX 파일은 4개 코어를 사용해 인젝션 검사에 0.21초, 문서 청크 20개 재순위화에 27초, 8개 질문을 적용한 대화 분석에 4.8초가 걸렸다. 세 작업을 한 프로세스에서 실행할 때 최대 메모리는 978MiB였다. 측정은 AMD EPYC 9354P와 onnxruntime 1.30.0에서 이뤄졌다. 문서 40개를 관련성 기준으로 사전 검사하는 데는 약 1분이 걸려, 사용량이 많은 사전 검사는 GPU에서 처리하는 편이 적합하다고 Arc53는 설명한다.
성능은 모든 항목에서 이전 모델보다 높지 않았다. v0.1과 비교해 BoolQ AUROC는 0.912에서 0.901로, deepset 인젝션 AUROC는 0.992에서 0.982로 낮아졌고, 현실적 대화 프로필의 목표 달성 분류도 작은 클래스에서 1.4포인트 낮았다. Arc53는 이 세 항목이 사전 설정한 기준에 미달했지만 모델을 공개했다고 밝혔다. 인젝션 탐지는 알려진 공격 유형에서 강하지만 새로운 유형에서는 약해질 수 있어 단독 보안 수단으로 쓰지 말고, 임계값을 최소 0.9로 두며 다른 방어책도 함께 사용하라고 안내한다.
모델은 MIT 라이선스로 배포된다. 다만 실제 서비스 트래픽에서는 아직 측정되지 않았으며, 정식 질문 형식에서 벗어난 질문은 신뢰도가 크게 낮아질 수 있어 자체 데이터로 검증해야 한다. Arc53는 GPU와 API 환경에는 v0.1이 더 강한 모델이라고 설명한다. 이 모델은 DocsGPT의 의사결정 기능에도 사용된다.
부록: 원문 예시
from huggingface_hub import snapshot_download local = snapshot_download("arc53/arc-decide-0.4b-v0.2", allow_patterns=["onnx-bf16emb/*"], local_dir="arc-decide-0.4b-v0.2") d = Decider(f"{local}/onnx-bf16emb") d.decide({"query": "How do I rotate an API key?", "passage": chunk}, {"relevant": questions["relevant"]})
d = Decider("arc53/arc-decide-0.4b-v0.2", device="mps", dtype="float16")
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요