RunInfra에서 DeepSeek V4.1 Flash 1017을 API로 사용할 수 있다. 입력 요금은 토큰 100만 개당 0.15달러, 출력은 0.60달러이며 문맥 길이는 1,048,576토큰이다.
API는 OpenAI 호환 채팅 완성과 Anthropic 호환 Messages(POST /v1/messages)를 지원한다. 텍스트와 이미지 입력, 도구 호출, JSON 모드, 스트리밍도 지원한다. 요청 크기는 최대 3.5MB이며 생성 출력은 최대 1,048,576토큰이다.
RunInfra가 공개한 측정치에 따르면 모델만의 출력 속도는 초당 327토큰이고, 첫 추론 토큰까지 걸리는 시간은 30밀리초다. RunInfra의 주력 Model API에서 지난 24시간 동안 기록된 캐시 적중률은 99.3%다.
접두부 캐싱은 모든 복제본에서 자동으로 작동한다. 같은 세션이나 대화의 요청은 캐시가 있는 복제본으로 라우팅되며, 안정적인 세션 힌트나 prompt_cache_key로 요청을 명시적으로 묶을 수 있다. 이를 지정하지 않으면 RunInfra가 대화의 시작 부분을 기준으로 그룹을 정하고, 그것도 불가능하면 워크스페이스를 기준으로 삼는다. 캐시는 제거되거나 서버가 재시작되기 전까지 최선의 방식으로 유지되며 적중은 보장되지 않는다. 캐시된 입력에는 별도 요금이 적용되고, 응답에 캐시된 토큰 수가 표시된다. 캐시는 GPU 메모리 압박에 따라 제거될 수 있다.
입력 캐시 토큰 요금은 100만 개당 0.01달러다. 기본적으로 데이터 보존을 하지 않으며 모델 학습에 사용하지 않는다고 RunInfra는 안내한다. 데이터 보존 정책을 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요