Skyvern 3.0은 웹 자동화를 2.3배 빠르게 했다

Skyvern은 실제 고객 작업 약 10만 건을 대상으로 한 시험에서 새 구조의 평균 실행 시간이 593초에서 262초로 줄었다고 밝혔다. 오픈소스 웹 자동화 도구의 제작사가 공개한 결과다.

Skyvern 3.0은 웹페이지 요소를 미리 정리해 모델에 넘기는 방식을 버리고, 모델이 필요한 정보를 직접 찾도록 바꿨다. 브라우저 자동화에서 웹페이지 요소를 잘못 읽으면 작업 전체가 실패하는 문제를 겪는 팀이라면 새 접근법과 시험 조건을 살펴볼 만하다.

Skyvern은 어떤 도구인가?

Skyvern은 코딩을 하지 않는 팀도 지시문으로 브라우저 자동화를 만들 수 있도록 돕는 오픈소스 프레임워크다. Claude 같은 비공개 모델이나 Deepseek 같은 공개 모델과 함께 쓸 수 있다. 의료 포털 이용, 청구서나 공과금 고지서 가져오기, 정부 서식 작성, 구직 신청 등의 자동화에 사용돼 왔다.

웹페이지를 미리 분석하지 않으면 무엇이 달라지나?

검색 증강 생성(RAG)은 모델에 필요한 정보를 미리 찾아 문맥으로 건네는 방식이다. 요리 전에 재료를 손질해 두는 일을 떠올리면 쉽다. 기존 Skyvern은 웹페이지를 불러와 화면을 캡처하고 요소를 표시한 다음, 조작 가능한 요소 목록으로 줄여 모델에 전달했다.

하지만 웹페이지의 모든 조작 요소를 정확히 찾아내기는 어려웠다. 그림자 문서 객체(Shadow DOM), 아이프레임, select2 드롭다운, Kendo UI 위젯, 캔버스 요소 등을 처리하려다 보니 사실상 새 문서 객체 모델(DOM) 해석기를 만드는 일이 됐다. 요소를 잘못 찾으면 작업 전체가 실패했고, 더 나은 언어 모델을 쓰더라도 이 분석 과정이 병목이 됐다.

Skyvern 제작사는 언어 모델이 지시를 따르고 필요한 정보를 찾는 능력이 나아진 만큼, 모델에 더 많은 판단 권한을 주기로 했다고 설명했다. 코딩 에이전트가 임베딩 기반 코드 검색에서 grep 같은 기본 도구를 쓰는 방식으로 옮겨가고, Pi처럼 간결한 코딩 에이전트가 인기를 얻는 흐름도 참고했다. Pi의 확장판인 Prime-intellect는 에이전트가 필요할 때 파이썬 코드를 만들고 실행하도록 하는 방식으로 ARC-AGI-3 벤치마크에서 최첨단 성능을 기록했다고 원문은 전한다.

새 Skyvern 에이전트는 처음부터 모든 웹페이지 정보를 받지 않는다. 대신 모델이 만든 자바스크립트로 HTML을 살피고, 클릭·입력·스크롤·탭 전환 등 rustwright가 지원하는 작업을 수행하며, 화면을 캡처하거나 성공·실패와 이유를 기록할 수 있다.

시험에서 속도와 비용은 어떻게 바뀌었나?

Skyvern 제작사는 정확도를 Odysseys 브라우저 에이전트 벤치마크로, 속도와 비용을 약 10만 건의 실제 고객 작업을 나눈 A/B 시험으로 측정했다. A/B 시험은 두 방식을 실제 환경에서 나눠 비교하는 방법이다.

Odysseys 벤치마크에서 Skyvern 3.0은 완벽한 평가 기준 성공률 90.5%를 기록했고, 작업당 평균 단계 수는 65.4였다. 제작사는 정확도 향상을 예상했지만, 실행이 효율적이었던 점은 예상 밖이었다고 밝혔다.

속도와 비용이 함께 개선된 이유로는 이미지가 포함된 모델 호출의 감소를 꼽았다. 화면 캡처를 쓰는 호출은 전체 호출의 27%에서 2.7%로 90% 줄었다. 원문에 따르면 이미지 호출은 시각 인코더를 거치며 텍스트 전용 인코더보다 1.7배 느린 경향이 있다.

작업당 토큰 사용량은 18만8000개에서 28만6000개로 52% 늘었다. 평균 모델 호출 횟수도 6.4회에서 23회로 3.59배 증가했지만, 호출당 토큰은 2만9000개에서 1만2000개로 59% 줄었다. 화면이나 HTML을 매번 불러오지 않아 프롬프트 캐시 적중률은 27%에서 79.7%로 올랐다. 캐시된 토큰에는 70% 할인이 적용돼 전체 비용이 감소했다는 것이 제작사의 설명이다.

브라우저 에이전트는 해결됐나?

아직 아니다. 제작사는 비용·속도·정확도 모두 더 개선할 여지가 있다고 밝혔다. 현재는 Jev 같은 ‘시스템 1’ 모델을 브라우저 에이전트에 적용하는 방안도 살펴보고 있다. 원문은 현재 세대 모델의 한계로 64K 문맥 창과 이미지 처리 부재를 들며, 이 때문에 정확도가 크게 떨어진다고 설명한다. 향후 6~12개월 안에 상황이 바뀔 것으로 기대한다는 전망도 덧붙였다.

Skyvern은 오픈소스판과 클라우드판으로 제공된다. 원문은 시험군의 세부 구성과 측정 조건, 각 버전의 가격 및 지원 범위를 밝히지 않는다.