원문 캡처 · hitl.systems
원문 캡처 · hitl.systems

latai는 앱에 넣어 기기 안에서 작은 AI 모델을 실행하는 22MB 엔진이다. 제작사 hitl.systems는 데이터 업로드나 답변당 비용 없이 사용할 수 있다고 설명하지만, 첫 릴리스의 지원 환경은 Linux x86_64에 한정되며 실행할 수 있는 모델도 약 35MB, 1억 2,100만 매개변수까지다.

앱은 SDK를 추가하고 서명된 GGUF 모델 팩을 설치한 뒤 JSON 요청을 보내는 방식으로 사용한다. 모델 팩은 신뢰하는 키로 서명을 확인하고, 별도 프로세스에서 자체 테스트를 거친 다음 기기 예산에 맞는지 검사한다. run 호출은 결과와 종료 사유, 로드·대기·입력 처리·생성·전체 소요 시간을 반환한다.

Python, TypeScript, Go, Rust, Flutter, React Native용 SDK가 제공된다. 데스크톱·서버 SDK는 현재 실행할 수 있고, Flutter와 React Native SDK는 공개됐지만 실제 기기에서 검증 중이므로 출시 일정을 잡기 전에 각 저장소의 README를 확인해야 한다. 엔진의 첫 릴리스는 glibc 2.28 이상을 사용하는 Linux x86_64용이다. 제작사는 Mac과 Windows, Linux ARM, iPhone과 Android 지원을 차례로 계획하고 있다고 밝혔다.

제작사가 공개한 측정치는 Linux x86_64의 단일 머신에서 자체 하네스로 한 차례 실행한 결과이며, 독립적으로 재현되지는 않았다. SDK 적합성 테스트는 301개 모두 통과했고, 디코더에 이미지 5,768,800개를 퍼징했을 때 충돌은 없었다. 음성 처리 속도는 대체 모델을 쓴 30초 클립에서 실시간 계수 0.030으로 측정됐다. JSON 스키마 응답 100개 가운데 70개는 완성됐고 30개는 512토큰 제한에 걸렸으며, 잘못된 형식의 응답은 없었다. 따라서 길이 제한에 도달했는지 종료 사유를 확인해야 한다.

엔진은 llama.cpp를 기반으로 하지만 엔진 자체는 공개 저장소가 없는 바이너리로 배포된다. SDK 소스는 Apache-2.0 또는 MIT 라이선스를 선택할 수 있고, 엔진 바이너리는 수정 없이 소프트웨어에 포함해 재배포할 수 있다고 제작사는 설명한다. 현재 이미지 읽기와 음성 전사에는 대체 모델을 사용하며, pashya, ej, lipi, tark 모델은 latai용 팩으로 준비 중이다.