Javo 자체 평가서 방문자당 매출 10% 늘었다

Javo를 운영하는 AISO Boost Ltd.는 100개 웹사이트, 방문자 1,480만 명을 대상으로 진행한 자체 평가에서 Javo를 제공한 사이트의 방문자당 매출이 채팅 에이전트가 없는 경우보다 약 10% 높았다고 밝혔다. 회사는 범위를 +5%~+15%로 제시했으며, 연구는 독립적인 통계 검토나 외부 윤리 승인을 받지 않았다.

평가는 2026년 5월 1일부터 9월 30일까지 진행했다. 참여 사이트는 온라인 상점 60곳, 호텔·렌털·여행 판매업체 25곳, 어학원·물류업체 등 서비스 사업자 15곳이다. 방문자는 무작위로 경험을 배정받았고 재방문 때도 같은 경험을 유지했다. 방문자당 매출은 직접 판매를 하는 85개 사이트에서 전체 방문자를 기준으로 계산했다. 채팅 전환율은 대화를 시작한 방문자를 기준으로 하므로 두 지표의 분모는 다르다.

• Javo를 제공한 사이트는 에이전트가 없는 사이트보다 방문자당 매출이 10% 높았다(95% 구간 +5.1%~+14.9%). 구매·예약·적격 리드로 이어진 방문자 비율은 8% 높았다.
• 같은 채팅 화면과 상품 목록, 규칙을 적용한 범용 AI와 비교하면, 대화를 시작한 방문자 중 구매·예약·적격 리드로 이어진 비율이 Javo에서 21.6% 높았다(95% 구간 +16.9%~+26.3%). 방문자당 매출은 16.9% 높았다.
• 매장 직원의 실시간 채팅과 비교한 대화당 구매·예약·리드 전환율은 Javo 11.26%, 직원 11.20%였다. 회사는 사람보다 낫다는 점이 입증된 것은 아니라고 밝혔다.

Javo와 범용 AI는 같은 채팅창과 첫 안내 문구, 상품 목록, 매장 규칙을 사용했고, 모두 AI라는 사실을 방문자에게 알렸다. 두 시스템에 투입한 영업 트레이너의 노력도 같았으며, 달라진 것은 채팅 뒤의 모델뿐이었다고 회사는 설명했다. 방문자 중 채팅을 시작한 비율은 두 시스템 모두 8.1%였다. 연구진이 대화 5,000건을 분류한 결과, 방문자의 필요를 묻고 추천한 대화는 Javo 82%, 범용 AI 61%였다. 다만 이런 행동은 무작위로 배정해 비교한 것이 아니므로 결과의 원인을 입증하는 자료가 아니라 설명을 돕는 관찰이라고 연구는 단서를 달았다.

직원과 비교한 평가는 직원이 근무하는 20개 사이트에서 진행했고, 대화는 직원 근무 시간에 시작된 경우만 비교했다. 직원은 59명으로 근속 기간 중앙값이 25개월이었다. 이는 회사가 고용할 수 있는 최고 영업 인력과의 비교가 아니라 각 사이트의 일반 직원과 비교한 결과다. 고객 평점은 Javo 4.42점, 직원 4.43점(5점 만점)이었다.

안전성 점검에서 반품률은 Javo 4.0%, 에이전트가 없는 경우 4.1%였고, 예약 취소율은 각각 11.9%, 12.2%였다. 방문자 1,000명당 불만은 0.18건과 0.20건이었다. 사이트 정보로 뒷받침되지 않는 답변은 Javo 0.15%, 범용 AI 0.56%였으며, 승인되지 않은 제안이나 할인을 제시한 사례는 Javo에서 0건, 범용 AI에서 3건으로 집계됐다. 연구진은 Javo 대화 2,000건, 범용 AI 대화 2,000건, 사람의 대화 1,000건을 어느 버전인지 모르는 검토자들이 확인하고, 신고된 대화도 모두 살폈다고 밝혔다. 안전 점검이 작동해 두 사이트에서 에이전트를 합계 5일간 일시 중단했으며, 해당 사이트도 결과에 포함했다.

Javo는 상업적 대화 자료로 학습한 오픈 웨이트 언어 모델이다. 회사는 2024년 2월부터 2026년 3월까지 수집한 대화 460만 건, 메시지 5,840만 건을 사용했다고 밝혔다. 자료는 동의를 받아 수집하고 개인정보를 제거했으며, 테스트 대상 100개 사이트의 대화는 학습에 포함하지 않았다. 모델은 평가 시작 전인 2026년 4월 24일에 고정됐다.

연구의 한계도 있다. 참여 사이트는 자발적으로 신청했고 상당수가 회사 네트워크를 통해 모집돼 웹 전체의 무작위 표본이 아니다. 구매자가 질문을 많이 하는 사이트가 과대표집됐을 수 있다. 평가 기간은 5개월로 장기 고객 가치까지 측정하지 않았다. 범용 AI 비교 대상은 2026년 4월에 고정한 선도 모델 하나여서 이후 모델은 격차를 줄일 수 있다. 회사는 이번 연구가 자사와 관련된 연구이며 독립적인 통계 검토, 사전 연구 등록, 외부 윤리 승인을 거치지 않았다고 명시했다.

대화 데이터와 모델 구조에 관한 이전 연구