TL;DR

  • Midscene.js는 자연어 기반 비전 GUI 에이전트로 웹·모바일·데스크톱 앱의 엔드투엔드(E2E) 테스트를 자동화하며, iOS를 포함한 실제 기기와 시뮬레이터를 지원함.
  • Playwright·Puppeteer 테스트에 통합하거나 브리지 모드로 Chrome을 제어하고, macOS·Windows·Linux 데스크톱 앱도 테스트할 수 있음.
  • Doubao Seed 2.1 Turbo는 AppControlBench 작업 60건 중 58건 통과, 총 모델 API 비용 0.59달러를 기록함.
  • AndroidWorld에서 Pass@1 93.1%·Pass@3 97.4%, MobileWorld에서 Pass@1 78.6%(117건 중 92건), AppControlBench에서 Pass@1 96.7%(58건 통과)를 기록함.
  • YAML 기반 Midscene Test, TypeScript 노드, 자동 계획 및 aiTap·aiAssert API, 시각적 리포트와 플레이그라운드 등을 제공함.

Midscene.js 소개

  • Midscene.js는 자연어를 사용해 웹·모바일·데스크톱 앱을 테스트하는 비전 기반 GUI 에이전트임.
  • 스크린샷을 얻을 수 있는 인터페이스를 자동화하며, DOM 및 접근성 트리의 제약을 넘어 동작함.
  • Android·iOS·HarmonyOS 앱을 실제 기기와 시뮬레이터에서 테스트하고 자동화함.
  • 웹에서는 Playwright 또는 Puppeteer 테스트에 통합하거나 브리지 모드로 Chrome을 직접 제어함.
  • 데스크톱 앱은 macOS·Windows·Linux에서 자연어로 테스트하고 자동화함.

모델과 성능

  • Doubao Seed는 요소를 안정적으로 찾기 위한 시각적 그라운딩을 제공하며, Midscene의 기본 모델로 제시됨.
  • DeepSeek, Qwen, GPT, Gemini, Kimi 등 여러 모델을 지원함.
  • 계획 모델과 비전 모델을 조합해 작업 완료율을 높일 수 있음.
  • Doubao Seed 2.1 Turbo의 AppControlBench 결과는 작업 60건 중 58건 통과, 모델 API 총비용 0.59달러임.
  • 벤치마크 결과는 AndroidWorld Pass@1 93.1%·Pass@3 97.4%, MobileWorld Pass@1 78.6%·117건 중 92건 통과, AppControlBench Pass@1 96.7%·58건 통과임.

테스트 기능과 통합

  • 전체 흐름을 위한 자동 계획 기능과 정밀한 테스트를 위한 aiTap, aiAssert 등 원자적 API를 제공함.
  • Midscene CLI를 통해 AI 코딩 에이전트가 UI를 테스트할 수 있는 드롭인 스킬을 제공함.
  • 각 단계를 시각적 리포트에서 재생하고 플레이그라운드에서 빠르게 실험할 수 있음.
  • Midscene Test에서 YAML로 테스트를 작성하고 사용자 정의 TypeScript 노드로 확장할 수 있음.
  • 문서는 llms.txt, 전체 문서 묶음, Markdown 문서로도 제공됨.