ANE Fieldfare는 애플 실리콘 맥에서 Gemma 4 26B-A4B를 실행하는 오픈소스 프로젝트다. 제작자는 M5·메모리 16GB·macOS 27 환경에서 기본 설정으로 초당 최대 98.7토큰을 측정했으며, 짧은 프롬프트에서는 프로세스 메모리 사용량이 1GB 미만이라고 밝혔다.
프로젝트는 프롬프트 처리에는 애플 뉴럴 엔진(ANE)을, 토큰 생성과 추측 디코딩에는 GPU를 사용한다. 모델 전문가 가중치는 파일에 매핑하고 운영체제 파일 캐시를 활용해 프로세스 메모리에 복사하지 않는 방식이다. 제작자에 따르면 3,015토큰 프롬프트 처리에는 hybrid-ane에서 8.8초, GPU만 사용하는 metal에서 15.3초가 걸렸다. 이는 각각 단일 측정값이다.
성능 수치는 M5·16GB·macOS 27에서 192개 토큰을 생성한 벤치마크 결과다. 기본 설정에는 DFlash 추측 모델이 포함된다. 코드 프롬프트에서 초당 98.7토큰, 수학 문제에서 78.3토큰, 설명 생성에서 72.7토큰을 기록했다. 추측 모델을 끄면 같은 항목의 속도는 각각 51.2, 49.1, 49.8토큰이었다. 프로젝트는 별도의 비교 측정에서 Turbo Fieldfare와 llama.cpp의 결과도 제시하지만, 벤치마크 프롬프트와 조건이 같지 않다고 명시한다.
사용하려면 Apple Silicon 맥, macOS 26 이상, Swift 6.2 이상이 설치된 Xcode가 필요하다. 모델은 Hugging Face의 체크포인트를 .gturbo 형식으로 설치해야 하며, DFlash 모델을 설치하지 않아도 실행할 수 있지만 제작자는 속도가 1.5~1.9배 느려진다고 설명한다. 설치와 사용 절차는 빠른 시작 안내에 있다.
ANE 경로는 애플의 비공개 프레임워크를 사용하므로 macOS 업데이트로 작동이 깨질 수 있고, 앱스토어 앱에는 포함할 수 없다. GPU만 사용하는 --backend metal 경로도 제공한다. 저장소에는 OpenAI 호환 서버가 포함돼 있지만, 서버 API는 텍스트만 지원하며 도구 호출·JSON 모드·복수 응답 생성은 지원하지 않는다. 외부에 공개할 때는 평문 HTTP 대신 TLS 프록시를 앞에 두어야 한다.
ANE Fieldfare 저장소에는 성능 측정 및 최적화 기록과 Turbo Fieldfare에서 가져온 구성 요소에 관한 안내가 포함돼 있다. Gemma 가중치는 저장소에 포함되지 않으며 Google의 Gemma 이용 약관을 따른다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요