Hoot은 책 페이지를 살펴보고 중국어 단어를 저장해 복습하도록 돕는 소형 학습용 로봇 동반자다. 제작자는 로봇 경험이 없는 상태에서 프로젝트를 시작했으며, 현재는 작동하는 시제품을 만들었다.
Hoot은 카메라로 작업물을 보고 대화를 나누며 학습을 돕도록 설계됐다. 중국어 학습이 첫 활용 분야로, 책 페이지를 촬영하고 낯선 한자를 살펴본 뒤 단어를 저장해 나중에 연습할 수 있다. 이 프로젝트는 Nebius × NVIDIA Global AI Hackathon에 비경쟁 프로젝트로 참여한다.
화면에서 한자를 누르면 병음과 음성을 확인하고, 해당 글자를 저장하거나 Hoot에 도움을 요청할 수 있다. 중국어 공부를 돕는 도구를 만들어 온 경험을 바탕으로 시작했으며, 제작자는 다른 학습 상황에서도 이런 동반자가 유용할지 살펴보고 싶다고 밝혔다.
Hoot의 대화와 시각 인식에는 Nebius Token Factory를 통해 제공되는 NVIDIA Nemotron 3.5 Super VL을 사용하고, Hermes가 맥락과 도구를 관리한다. 기기에는 Jetson Orin Nano, 카메라, USB 마이크와 스피커, Sense HAT 센서 및 LED가 들어간다. LED는 마이크 녹음, 카메라 작동, Hoot의 발화 상태와 표정을 표시한다.
영어와 중국어 음성 인식은 로컬 Faster-Whisper를, 음성 합성은 Kokoro를 사용할 수 있다. 선택 사항으로 Gemini 음성 인식과 음성 합성도 지원한다. 클라우드 모드에서는 답변을 여전히 Nemotron이 작성한다. 읽기 자료와 복습 기능은 촬영한 페이지, 편집 가능한 텍스트, 병음, 저장한 어휘와 연습 카드로 구성되며, 데이터는 로컬 SQLite에 저장된다.
웹 대시보드는 Vite와 Three.js로 애니메이션 올빼미, 카메라 미리 보기, 채팅과 기기 제어 화면을 제공한다. 대시보드는 브라우저에서 실행되고, Jetson의 로컬 웹 서버를 통해 기기에서 실행되는 Hermes와 연결된다.
현재 Hoot은 작동하는 시제품이다. 클라우드 모드에서 추론을 사용하려면 Nebius에 연결할 인터넷이 필요하다. 음성 기능은 이미 로컬에서 실행할 수 있으며, 추론에도 Jetson Orin Nano에서 직접 실행되는 모델을 사용하는 로컬 모드는 가능성으로 제시됐다.
제작자는 배터리를 마련했으며 Hoot을 어깨에 장착하는 방법을 찾고 있다. 방 안에서 작업물을 잘 볼 수 있는 위치로 옮겨 놓는 것도 구상 중이지만, 어깨 장착은 아직 계획 단계다. 소프트웨어에서는 응답 속도, 읽기 정렬, 학습자가 머뭇거리거나 막힐 때 알아차리는 발음 도움 기능을 개선하고 싶다고 밝혔다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요