QA Wolf가 실패한 테스트를 조사하는 AI 기능인 AI Investigation을 모든 사용자에게 제공한다고 밝혔다. 이 기능은 테스트 묶음 전체가 끝날 때까지 기다리지 않고 실패가 발생하는 즉시 원인을 분류하고, 테스트 수정이나 버그 보고를 진행한다.
QA Wolf가 반복 실행되는 테스트 묶음 127개를 배포 전후로 비교한 결과, 각 테스트가 한 번씩 실행된 시점부터 모든 실패에 결론이 날 때까지 걸리는 중앙값은 사람이 조사할 때 2.3시간, AI Investigation을 사용할 때 21분이었다. 76%의 조사에서는 테스트 실행이 끝나기 전에 조사가 시작됐다. 조사 중인 테스트 묶음도 미완료로 계산하면 AI의 중앙값은 41분이다. 데이터는 2026년 10월 15일까지 집계됐다.
1시간 안에 조사가 끝난 테스트 묶음은 사람 조사 때 30%, AI 조사 때 72%였다. 4시간 넘게 걸린 비율은 34%에서 7%로 줄었다. 양쪽에서 비교할 만큼 실행된 테스트 묶음 56개 가운데 49개는 조사 시간이 짧아졌다. 이는 QA Wolf가 공개한 자체 집계다.
실패 결과가 나온 테스트 13,119개 중 AI는 75%(9,784개)를 자체적으로 처리했다. 52%(6,864개)는 테스트를 수정하거나 재실행해 통과시켰고, 22%(2,920개)는 이슈로 등록했다. 나머지 25%(3,335개)는 사람의 답변이나 수정 승인 등이 필요했다. 테스트를 고쳐야 했던 경우의 92%는 해당 실행에서 통과했다. 재현된 버그 380건 가운데 317건(83%)은 신규 보고였고, 63건(17%)은 이미 열린 보고와 일치했다. 이 결과는 2026년 9월 29일부터 10월 15일까지의 AI 조사 자료에 기반한다.
AI Investigation은 실패마다 별도 에이전트를 보내는 대신, 선임 에이전트가 실패 단계와 오류를 비교해 같은 원인으로 보이는 테스트를 묶는다. 원인이 같으면 기존 조사에 합치고, 새로운 원인이면 별도 조사자를 배정한다. 한 원인의 수정으로 다른 문제가 드러나면 새 조사로 처리한다. 조사자는 각자 별도의 샌드박스와 브라우저, 브랜치에서 테스트 코드와 앱을 확인하고 영향을 받은 테스트를 실행한다. 에이전트별 컴퓨터 환경에 관한 설명은 QA Wolf의 관련 글에 있다.
조사자는 테스트의 Git 기록, Playwright 추적 자료, 이전 실패 기록을 살피고, 실행을 촉발한 풀 리퀘스트가 있으면 함께 확인한다. QA Wolf는 그럴듯한 설명만으로 테스트를 바꾸지 않도록 제한한다고 설명한다. 단언을 약화하거나 삭제하고, 예상값을 현재 앱 결과에 맞추거나, 오류를 숨기거나, 고정된 waitForTimeout을 추가하는 방식은 수정으로 인정하지 않는다. 변경한 코드는 실행해 확인해야 하며, 조사자의 확신만으로는 테스트 통과로 처리하지 않는다.
제품이 의도한 대로 바뀌었는지 판단하기 어려우면 조사자는 기대 동작과 실제 동작, 근거를 제시해 조사 채팅에서 사람에게 묻는다. 답변을 기다리는 동안 다른 실패 조사는 계속된다. 버그로 판단한 경우에는 재현 증거를 확인하고 기존 보고와 같은 원인인지 살핀다. 새 버그 보고에는 재현 절차와 기대·실제 결과, 개발자가 확인할 근거를 담고, 음성 설명이 포함된 재현 영상도 첨부한다고 QA Wolf는 밝혔다.
사용자는 실행 페이지에서 각 조사 결과와 영향을 받은 테스트, 수정·보고된 항목, 답변 대기 중인 질문을 확인하고 결론에 이의를 제기할 수 있다. QA Wolf MCP를 통해 ChatGPT나 Claude에서도 같은 조사를 살펴볼 수 있으며, 워크스페이스의 .skills/ 폴더에 팀별 지침을 추가할 수 있다. 최종적으로 변경 사항을 배포할지는 사용자가 결정한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요