Llama 3.1 8B가 계약 분류에서 Claude Sonnet 5를 앞섰다

ReOpenly는 법률 계약 조항 분류 실험에서 미세조정한 Llama 3.1 8B가 Claude Sonnet 5보다 정확도가 높고 응답이 빠르며 비용도 낮았다고 밝혔다. 다만 비교는 공개 데이터셋의 테스트 조항 437개를 대상으로 했으므로, 다른 업무나 데이터에서도 같은 결과가 나온다고 보장하지는 않는다.

실험 조건과 결과

실험에는 계약 조항을 ‘준거법’, ‘손해배상’, ‘기밀유지’ 등 100개 범주로 분류하는 공개 데이터셋 LEDGAR를 사용했다. 테스트 사례 437개는 흔한 범주 250개와 드문 범주 187개로 나눴다.

Claude Sonnet 5는 미세조정 없이 프롬프트에 100개 범주 전체를 넣어 평가했다. Llama 3.1 8B Instruct는 6만 개의 라벨이 붙은 조항으로 LoRA 미세조정을 했으며, 학습에는 4.8 GPU 시간이 들었다. ReOpenly의 분당 0.03달러 요율을 적용한 학습 비용은 약 8.70달러다. 다른 모델 계열에서도 결과가 비슷한지 확인하기 위해 Qwen3.5 9B도 같은 데이터로 학습했다.

ReOpenly의 계산에서 소형 모델 비용은 GPU 사용 시간에 분당 0.03달러를 적용한 값이다. 답변 한 건에 0.25초가 걸리면 1,000건은 GPU 사용 시간 250초에 해당한다. Claude Sonnet 5 비용은 실험에서 사용한 토큰 수에 공개 API 요율을 적용했다. 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러다. ReOpenly는 요청별로 정해진 과금 단위를 적용하므로 짧은 요청 한 건의 비용은 실제 GPU 사용 시간에 따른 비용보다 높을 수 있다. 현재 요율은 가격 안내 페이지에서 확인할 수 있다.

Llama 3.1 8B는 전체 정확도에서 Claude Sonnet 5보다 3.7%포인트 높았고, 응답 시간은 약 9분의 1, 비용은 약 16분의 1이었다. 흔한 범주에서는 미세조정 모델이 11.6%포인트 앞섰지만, 드문 범주에서는 Claude Sonnet 5가 67.4%로 Llama 3.1 8B의 60.4%보다 높았다. ReOpenly는 드문 범주에 학습 사례가 적어 일반 모델의 폭넓은 지식이 도움이 됐다고 설명하며, 해당 사례의 예시를 늘리는 것이 남은 개선 과제라고 봤다.

사용량과 적용 조건

ReOpenly가 제시한 월간 비용 추산은 다음과 같다. 소형 모델 비용은 GPU 시간 기준이며, 프런티어 모델 비용은 앞서 설명한 API 요율을 적용했다.

이 추산에서는 약 8.70달러의 학습 비용이 첫 5,000건 이내에 회수된다. 실제 비용은 모델 크기와 데이터셋, 요청량에 따라 달라지며, ReOpenly는 학습을 시작하기 전에 비용을 안내한다고 밝혔다.

ReOpenly는 작업이 안정적이고 반복 요청이 많으며 사용할 만한 실제 사례가 있을 때 미세조정이 유리하다고 제안한다. 반대로 작업이 자주 바뀌거나 학습 사례가 없거나 월 수백 건 정도만 처리한다면 프런티어 모델을 쓰는 편이 간단할 수 있다.

이번 결과는 공개 벤치마크의 테스트 사례 437개에 기반한다. 따라서 ReOpenly는 이를 다른 데이터에도 그대로 적용되는 보장이 아니라 참고할 신호로 봐야 한다고 밝혔다. 비교 대상인 메타의 사례 연구에서는 비공개 사례 15만 건을 사용해 흔한 사례에서 97%, 드문 사례에서 90%의 정확도를 보고했지만, 해당 데이터는 공개되지 않아 이번 실험에서 검증하지 못했다.