법률사무소의 자료를 지식 그래프로 연결한 실험에서 에이전트는 같은 다섯 질문에 답하면서 평균 시간을 509초에서 139초로, 입력 토큰을 135만 개에서 10만 2천 개로 줄였다. 실험을 진행한 측은 정확도도 99%에서 100%로 높아졌다고 보고했지만, 실제 기록의 스캔·OCR 오류나 표·변경 내용 추적이 있는 문서는 시험하지 않았다.
그래프는 사건과 문서를 조항 단위까지 연결하고, 의뢰인·법률 근거·사내 노하우·이메일·기한·시간 기록을 함께 묶는다. 기존 사건관리 시스템이나 회사 등록부에 있는 정보는 규칙으로 먼저 연결하고, 규칙이 읽지 못한 문장만 소형 모델에 보낸다. 시험한 데이터룸에서는 전체 8,939개 문장 중 141개(1.6%)만 모델에 전달해 비용이 0.047달러 들었다. 모든 문장을 모델에 보내는 방식은 1.29달러였으며, 전체적으로 더 나은 결과를 내지는 않았다.
같은 모델과 데이터룸으로 파일 검색 도구만 쓴 경우와 그래프 도구도 제공한 경우를 비교했다. 그래프를 쓴 에이전트는 충돌 확인, 판례 변경의 영향 추적, 한 달 안의 기한 확인, 미청구 시간과 감액 내역 계산, 사내 기준보다 낮은 책임 한도 찾기에서 평균 답변 시간을 줄였다. 다섯 질문의 실행 비용은 그래프가 없을 때 약 17센트, 있을 때 약 2센트였다. 그래프 구축에 필요한 업로드 문서 판독 비용까지 포함하면 약 26개 질문 뒤에 비용을 회수한다고 계산했다.
이 결과는 사실을 유지한 채 다른 문체로 다시 쓴 문서로 시험한 것이다. 문서는 OCR 오류가 없는 텍스트였고, 실제 자료에 있을 수 있는 복잡한 서식이나 악의적으로 어지러운 텍스트는 시험하지 않았다. 실험을 진행한 측도 실제 기록에서 정확도 차이가 더 커질 수 있다고 보지만, 이를 검증하지는 않았다고 밝혔다. 그래프는 문서가 바뀔 때마다 다시 읽어야 하고, 시스템 연동용 어댑터와 규칙 유지·저장 공간에도 비용이 든다.
사내 문서 검토와 검색을 위해 이미 계산하는 조항 메타데이터는 그래프에 추가로 계산하지 않기로 했다. 이 메타데이터에는 책임 한도 금액을 담는 필드가 없어 책임 한도 10건을 하나도 찾지 못했고, 비용은 3.15달러였다. 다만 이미 만들어진 메타데이터를 그래프에 합치는 데 추가 비용은 없었으며, 시험에서 모델이 놓친 기한 하나를 찾았다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요