SealGate가 안드로이드폰을 통해 AI 에이전트가 화면을 보고 조작하며 주변 기기와 통신하도록 하는 오픈소스 앱 Mobile Tunnel을 공개했다. 제작진은 GPT-5.6 Sol에 DJI Neo를 조종해 나무 테이블에 착륙하라고 지시했으며, 이 실험은 사람의 감독 아래 진행됐다.
Mobile Tunnel은 안드로이드폰을 SealGate Gateway를 거치는 연결 지점으로 삼는다. 에이전트는 화면을 확인하고 탭과 스와이프를 하거나 가상 키보드로 입력할 수 있다. 연결된 MCP 서버와 기기에 따라 블루투스·USB 기기와 통신하고, 휴대폰에서 로컬 작업을 수행할 수도 있다. DJI 실험에서는 DJI Fly 앱을 수정하지 않고 화면 관찰과 터치 조작을 에이전트에 제공했다.
제작진은 Codex CLI에서 GPT-5.6 Sol을 높은 추론 강도로 실행해 드론 카메라 화면을 관찰하고 가상 조종간을 조작하도록 했다. 미리 정해진 비행 경로는 없었으며, 모델은 테이블 위치를 파악하고 움직인 뒤 결과를 확인하며 착륙을 시도했다. 조작의 기본 동작과 관찰·정찰 절차를 설명하는 기술(skill)을 마련하고 실제 드론으로 조정했다.
모델 비교는 일반 벤치마크가 아니다. 표본이 적고 프롬프트와 기술을 더 조정하면 결과가 달라질 수 있다고 제작진은 밝혔다. 시험한 모델 중 GPT-5.6 Sol은 텍스트 모드에서 비행 과제를 안정적으로 수행했다. GPT-5.6 Luna와 Grok 4.6은 관찰과 행동을 반복하는 동안 공간 관계를 일관되게 유지하는 데 어려움을 겪었다. Claude 모델들은 안전 맥락을 설명해도 과제를 거부했고, Muse Spark는 성공과 거부가 엇갈렸다.
직접 스마트폰으로 DJI Neo를 조종하면 전용 조종기를 쓸 때보다 통신 거리가 짧다. DJI가 제시한 스마트폰 직접 제어 거리는 약 50m이며, 비행 중 휴대폰은 켜져 있고 DJI Fly 조종 화면을 계속 표시해야 한다. DJI Neo에는 장애물 회피 기능이 없으므로 제작진은 통제된 환경과 사람의 적극적인 감독이 필요하다고 설명했다. 시험은 시야가 확보되고 비행이 허용된 장소에서 영국 드론 규정을 준수하며 진행됐다.
Mobile Tunnel은 아직 초기 실험 단계다. 안드로이드 지원은 실험적이며, 화면 조작은 앱의 배치와 동작에 좌우된다. 멀티모달 제어는 기기 전용 소프트웨어보다 느리고, 실제 기기 조작의 품질은 모델에 제공하는 기술과 조정에 크게 의존한다. 휴대폰도 제어 대상 앱을 계속 실행할 수 있어야 한다.
SealGate는 이 방식이 전용 MCP 연동을 제공하지 않는 기기도 기존 안드로이드 앱이나 휴대폰 연결을 통해 에이전트와 이어줄 수 있다고 설명한다. 오픈소스 앱과 재현 가능한 안드로이드 빌드는 GitHub에서 확인할 수 있다. 실험 배경은 Mobile Tunnel 소개, 관련 프로젝트 자료는 SealGate 오픈소스 구성 요소와 DJI Neo, 영국 민간항공청 드론 규정에서 볼 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요