Recursive가 코딩 에이전트를 위한 혼합 전문가 언어 모델 Flint를 공개했다. 전체 매개변수는 398억 개이며 토큰당 약 25억 개가 활성화된다. 체크포인트와 SGLang 서빙 도구를 제공하며, 단일 복제본을 실행하려면 B300 또는 H200 GPU 한 대가 필요하다.
Flint는 코드베이스 조사, 버그 수정, 기능 구현, 테스트 작성에 맞춰 설계됐다. 텍스트 입출력과 추론, 여러 차례에 걸친 도구 사용을 지원한다. Recursive가 공개한 평가에서 Terminal-Bench 2.1은 54.9%, SWE-bench Pro v2는 89.7%, SWE-bench Verified는 74.2%를 기록했다.
평가는 temperature 1.0, top-p 0.95, top-k 20 설정으로 진행했다. Terminal-Bench에는 Terminus 2를, SWE-bench에는 mini-swe-agent를 사용했다. 에이전트 평가 점수는 최소 5회 시도한 pass@1 평균이다. † 표시는 Recursive가 측정한 점수이며, 그 외 비교 점수는 개발자가 보고한 값이다. 평가 환경은 출처마다 다르며, Flint의 Terminal-Bench 점수는 웹 검색으로 얻은 해결책을 실패로 처리했다. 개발자가 보고한 점수에는 같은 조정이 적용되지 않았을 수 있다.
모델은 49개 층으로 구성되며, 처음 2개는 밀집층이고 나머지 47개는 혼합 전문가 층이다. 혼합 전문가 층마다 라우팅 전문가 256개 가운데 토큰당 6개를 선택하고, 항상 활성화되는 공유 전문가도 사용한다. 문서에 기재된 컨텍스트 설정은 입력 프롬프트와 생성 출력을 합쳐 262,144토큰이다. 활성 매개변수 산정에는 출력 헤드가 포함되고 전체 입력 임베딩 행렬은 제외된다. 모델 본체만 보면 활성 매개변수는 약 22억 개이며, ‘40B-A2.5B’는 반올림한 모델 크기 표기다.
저장소에는 BF16 체크포인트, 모델 설정, 토크나이저, 채팅 템플릿과 SGLang 서빙 도구가 포함된다. Transformers 모델링 코드는 아직 제공되지 않는다. NVIDIA와 Apple Silicon 런타임용 양자화 버전은 별도로 준비된다. 추론 요청에 설정이 없으면 서버는 권장 샘플링 설정을 적용하며, 어려운 문제에는 추론 과정을 포함해 최소 32,768토큰의 출력 예산을 권장한다. 프롬프트와 출력은 컨텍스트 창을 공유한다.
Flint는 Apache 2.0 라이선스로 공개됐다. 다만 지도 미세조정에 안전 지향 예제가 포함됐어도 잘못되거나 유해한 내용, 오류가 있는 코드, 부적절한 도구 호출을 만들 수 있다. 생성된 코드와 중요한 변경 사항은 적용 전에 검토해야 하며, 도구를 사용하는 애플리케이션은 자체 권한과 실행 경계를 설정해야 한다. 긴 추론은 지연을 늘리고 답변이 끝나기 전에 출력 예산을 소진할 수 있다. 컨텍스트 설정은 용량 한도이지 모든 길이와 작업에서 정확도가 보장된다는 뜻은 아니다. 체크포인트 정밀도와 추론 런타임에 따라 결과가 달라질 수 있으므로 실제 배포할 조합으로 평가해야 한다.
Recursive 블로그 · Hugging Face 모델 · 로컬 엔진 · 문서 · SGLang 사용 안내 · 라이선스
부록: 원문 예시
from openai import OpenAI client = OpenAI(base_url="http://localhost:30000/v1", api_key="unused") response = client.chat.completions.create( model="flint", messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}], max_tokens=32768, ) print(response.choices[0].message.content)
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요