TL;DR

  • e2e는 웹·모바일 앱에서 자연어 목표를 에이전트가 수행하고 로케이터와 단언문으로 결과를 확인하는 종단 간 테스트 프레임워크임.
  • 이후 단언문으로 검증되는 에이전트 단계는 동작을 기록해 앱이 바뀌지 않는 한 다음 실행에서 모델 호출 없이 재생됨.
  • npx e2e init으로 웹·모바일 엔진과 모델 제공자를 설정하고 설정 파일 및 예제 테스트를 생성함.
  • 패키지는 SDK·러너·CLI, Playwright 기반 브라우저 엔진, agent-device 기반 모바일 엔진, GitHub 리포터와 호스팅 실행 환경으로 구성됨.
  • 자체 구독·API 키·로컬 모델을 사용할 수 있으며, 텔레메트리에는 테스트·앱 콘텐츠와 자격 증명이 포함되지 않음.

e2e

  • e2e는 웹 및 모바일 앱용 종단 간(E2E) 테스트 프레임워크임.
  • 자연어로 목표를 설명하면 에이전트가 앱을 조작해 목표에 도달하고, 같은 테스트 안에서 로케이터(locator)와 단언문(assertion)으로 결과를 확인하는 방식임.
  • 예제 테스트는 설정의 결제 화면을 열고 에이전트에 Pro 요금제로 업그레이드하도록 지시한 뒤, 청구서 미리 보기에 일할 계산 금액이 표시되는지 확인하고 상태 요소에 Pro가 포함되는지 검사함.
  • 이후 단언문으로 검증되는 에이전트 단계는 수행 동작을 기록하며, 앱이 바뀌지 않으면 다음 실행에서 모델 호출 없이 해당 동작을 재생함.
  • 에이전트 단계가 없는 테스트에는 모델이 필요하지 않으며, 자체 구독·API 키 또는 로컬 모델을 사용할 수 있음.

빠른 시작

  • npx e2e init을 실행하면 엔진으로 웹 또는 모바일을, 모델 제공자로 사용할 항목을 선택하도록 안내함.
  • 초기화 과정에서 설정 파일과 예제 테스트가 생성되며, 나머지 설정은 빠른 시작 안내에서 확인할 수 있음.

패키지

  • e2e: SDK, 러너, CLI.
  • @e2e-dev/web: Playwright를 통해 Chromium, Firefox, WebKit을 사용하는 브라우저 엔진.
  • @e2e-dev/mobile: agent-device를 통해 시뮬레이터와 에뮬레이터에서 iOS 및 Android를 실행하는 엔진.
  • @e2e-dev/github: 결과를 풀 리퀘스트 댓글로 게시하는 리포터.
  • @e2e-dev/kernel: 웹 엔진용 Kernel 호스팅 브라우저.
  • @e2e-dev/eas: 모바일 엔진용 EAS Simulators 호스팅 iOS 시뮬레이터 및 Android 에뮬레이터.

문서

  • 문서는 e2e.tester.army/docs에서 확인할 수 있음.
  • e2e 패키지에 모든 문서 페이지가 포함되어 있어, 코딩 에이전트가 node_modules/e2e/docs에서 오프라인으로 읽을 수 있음.

기여

  • 기여 방법은 CONTRIBUTING.md에서 확인할 수 있음.
  • 질문은 Discord에서 할 수 있음.

보안

  • 보안 취약점을 공개 이슈로 등록하지 말아야 함.
  • SECURITY.md의 절차에 따라 security@tester.army로 제보해야 함.

텔레메트리

  • CLI는 실행한 명령과 엔진, 실행 실패 위치 등 익명 사용 데이터를 전송하지만 테스트 콘텐츠, 앱 콘텐츠 또는 자격 증명은 전송하지 않음.
  • npx e2e telemetry disable을 실행하거나 E2E_TELEMETRY_DISABLED=1을 설정해 텔레메트리를 비활성화할 수 있음.
  • 수집되는 모든 필드는 텔레메트리 목록에서 확인할 수 있음.

상태

  • e2e는 1.0 출시를 향해 활발히 개발 중이며, 마이너 릴리스 사이에도 API와 설정이 바뀔 수 있음.
  • 라이선스는 Apache-2.0임.

TesterArmy

  • e2e는 TesterArmy가 개발하며, TesterArmy는 모든 풀 리퀘스트 또는 예약된 일정에 따라 웹·모바일 앱의 자연어 테스트를 실행하는 에이전트 기반 테스트 플랫폼임.