TL;DR

  • TaxCalcBench는 납세자 정보를 바탕으로 AI 모델이 세금 신고서를 정확히 작성할 수 있는지 평가하는 벤치마크임.
  • 2025년판(v2)은 현실적인 PDF 서류, 주·연방 세금 신고서, 복잡한 세금·재정 사례를 포함해 2024년판보다 어려움.
  • 2024년판(v1)은 구조화된 JSON 입력을 사용하는 비교적 단순한 연방 신고서 사례로 구성됨.
  • 점수는 신고서 전체의 엄격·완화 기준 정답률과 항목별 정답률로 나뉘며, 2025년판은 비용과 처리 시간도 보고함.
  • 모델별 추론 수준, 웹 검색 사용 여부, 평가 완료 사례 수에 따라 결과 해석에 유의해야 함.

새로 추가된 내용

  • 2025 과세연도(v2판)은 2024년판보다 세 가지 측면에서 어려움.
  • 입력이 구조화된 데이터 대신 W-2, 1099 등 현실적인 PDF 문서임.
  • 사례에 연방 신고서뿐 아니라 주 신고서도 포함됨.
  • 세금 및 재정 상황이 훨씬 더 복잡한 사례를 다룸.
  • 2024 과세연도(v1판)은 비교적 단순한 상황의 연방 신고서만 포함하며, 입력은 구조화된 JSON으로 제공됨.
  • 각 사례를 네 번 실행한 뒤 점수를 평균해 pass@1을 산출함.
  • 양식 상단의 과세연도 선택 상자에서 판을 전환할 수 있음.

일반 안내

TaxCalcBench란 무엇인가?

  • TaxCalcBench는 최첨단 AI 모델이 세금 신고 준비 과정의 계산 단계, 즉 납세자에 관한 모든 정보를 바탕으로 완성된 신고서를 작성하는 작업을 수행할 수 있는지 측정함.
  • 각 테스트 사례는 납세자 입력과 정확히 계산된 정답 신고서로 구성되며, 모델의 답변을 정답과 항목별로 비교함.
  • 세금 계산은 전통적으로 수만 페이지에 이르는 규칙을 코드화한 수작업 결정론적 세금 계산 엔진이 담당함.
  • 이 벤치마크는 모델이 이 작업을 자체적으로 수행할 수 있는지 평가함.

제출 대상

  • 모델을 이 양식의 결과표에 올리려는 모델 제공업체는 team@columntax.com으로 이메일을 보낼 수 있음.
  • 누구나 저장소에서 오픈소스 실행 도구를 사용할 수 있음.

항목별 안내

  • 열 (a)—정답 신고서(엄격 기준): 평가 대상 항목이 모두 정답 신고서와 정확히 일치한 테스트 사례의 비율임. 세금 신고서는 제출하려면 완전히 정확해야 하므로 가장 중요한 수치임.
  • 열 (b)—정답 신고서(완화 기준): 평가 대상 항목이 모두 정답 값의 ±5달러 이내인 사례의 비율임. 공식 세금표 대신 세율 구간 계산으로 세금을 산출할 때 작은 오차가 다수 발생할 수 있음.
  • 열 (c)—항목별 정답(엄격 기준): 평가 대상 항목 중 정확히 일치하는 항목의 평균 비율임. 초반의 단일 오류가 신고서 나머지 부분으로 연쇄될 수 있어, 일반적으로 열 (a)보다 훨씬 높은 수치임.
  • 열 (d)—항목별 정답(완화 기준): 열 (c)와 같은 방식으로 계산하되, ±5달러 이내의 항목도 정답으로 처리함.
  • 열 (e)—신고서당 비용: 신고서 한 건을 생성하는 평균 API 비용임. 비용을 확인할 수 없는 경우 빈칸이며, 빈칸은 절대 0달러로 간주하지 않음. 2025년판에만 해당함.
  • 열 (f)—신고서당 시간: 신고서 한 건을 생성하는 평균 시간임. 2025년판에만 해당함.
  • 추론 수준: 각 모델은 지원하는 추론 수준별로 테스트하며, 각 열에는 해당 열에서 가장 좋은 설정의 결과가 표시됨. 같은 행의 두 수치가 서로 다른 설정에서 나온 결과일 수 있음.
  • 웹 검색: 웹 검색 도구를 사용할 수 있었던 모델 결과에는 웹 검색 표시가 붙으며, 모델은 최신 양식과 지침을 검색할 수 있음.
  • 부분 평가 범위: 40/50처럼 사례 수가 표시된 행은 실행을 완료한 사례만 채점함. 각 실행에 관한 설명은 TaxCalcBench 리드미에 있음.

구체적 안내

  • 모델별 참고 사항은 각 모델의 Schedule M에 첨부됨.
  • 1페이지의 항목을 클릭하면 해당 설명을 열 수 있음.

서류 작업 감축법 안내

  • 이 양식의 정보는 모델이 세금 신고를 처리할 수 있는지 확인하는 데 사용됨.
  • 모델은 결과표에 오르려는 경우가 아니라면 요청된 정보를 제공할 의무가 없음.
  • 이 양식 작성에 걸리는 평균 시간은 모델마다 다르며, 열 (f)에 표시됨.
  • 양식을 더 간단하게 만들기 위한 제안은 team@columntax.com으로 전달할 수 있음.
  • 결과는 2026년 10월 1일 TaxCalcBench 저장소와 동기화됨.