RunInfra에서 추론 모델 Ornith 1.5 122B를 API로 이용할 수 있다. 입력은 텍스트와 이미지를 지원하며, 컨텍스트 창은 262,144토큰이다.
Ornith 1.5 122B는 활성 파라미터가 약 100억 개인 전문가 혼합(Mixture of Experts) 모델이다. RunInfra는 입력 토큰 100만 개당 0.20달러, 캐시된 입력 토큰 100만 개당 0.02달러, 출력 토큰 100만 개당 0.80달러를 부과한다. 모델 식별자는 ornith-ai/Ornith-1.5-122B다.
RunInfra가 공개한 측정치에 따르면 모델 자체 출력 속도는 초당 302토큰이고, 첫 추론 토큰까지 걸리는 시간은 72밀리초다. 최근 24시간 캐시 적중률은 86.6%로 제시됐다. 이는 제공업체가 표시한 측정치다.
API는 OpenAI 호환 채팅 완성과 Anthropic 호환 메시지 인터페이스(POST /v1/messages)를 지원한다. 도구 호출, JSON 모드, 스트리밍을 사용할 수 있으며 정밀도는 BF16, 비양자화 방식이다. 요청 크기는 최대 3.5MB, 생성 출력은 최대 262,144토큰이다.
자동 프롬프트 접두부 캐싱은 모든 복제본에서 실행된다. 같은 세션이나 대화의 요청은 캐시가 있는 복제본으로 라우팅되며, session hint 또는 prompt_cache_key로 요청을 명시적으로 묶을 수 있다. 캐시는 GPU 메모리에 보관되고 메모리 압박이나 서비스 재시작 때 제거될 수 있어 적중은 보장되지 않는다. 캐시 입력에는 별도 요금이 적용되며 응답에 캐시된 토큰 수가 표시된다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요