Mistral의 시계열 예측 모델 Timestral-28M은 회고적 2026년 평가에서 14개 종목의 5거래일 후 거래량 로그 오차를 조건부 회귀보다 4.70% 줄였다. 다만 미세 조정 모델은 원본보다 뚜렷하게 나아지지 않았고, 수익률 예측에서도 단순한 기준선보다 일관된 이점을 보이지 않았다.
평가는 2010년 이후 야후에서 내려받은 미국 주식 14개와 주식형 펀드 3개의 일별 데이터를 대상으로 했다. 모델에는 직전 512거래일의 관측값을 입력하고 다음 거래일과 5거래일 뒤를 예측하게 했다. 거래량은 종목과 날짜에 따라 규모 차이가 커 로그 변환해 측정했다. 따라서 4.70% 개선은 로그 거래량 오차의 감소율이지 투자 수익률이나 주식 수 기준 오차 감소율이 아니다.
2026년 주식 거래량 평가에서 원본 모델의 오차 감소율은 조건부 회귀 대비 4.70%였고, 기술통계적 95% 구간은 2.08~6.98%였다. 미세 조정 모델은 4.94% 감소했지만, 원본 모델과 직접 비교한 개선 폭은 0.14%에 그쳤다. 이 비교의 95% 구간은 1.15% 악화에서 1.48% 개선까지 걸쳐 있어 미세 조정의 효과가 분명하지 않았다.
기준선 선택에 따라 결과도 달라졌다. 원본 모델은 직전 거래량과 비교하면 오차를 18.58% 줄였지만, 과거 20거래일 중앙값과 비교한 감소율은 3.20%였고 구간에는 개선과 악화가 모두 포함됐다. 연구팀은 초기 과거 표본의 거래량 결과를 본 뒤 조건부 회귀를 추가하고, 미세 조정 및 2026년 점수를 확인하기 전에 회귀 방식을 고정했다고 설명했다.
미세 조정은 과거 표본에서는 다음 거래일 거래량 오차를 원본 대비 1.08% 줄였다. 그러나 2026년의 12개 오차 비교에서는 모두 95% 구간이 0을 포함했다. 수익률 예측은 단순 기준선보다 일관된 우위를 보이지 않았으며, 2026년 주식 패널의 5거래일 후 미세 조정 예측은 과거 중앙값보다 0.38% 나빴다.
변동성 예측 결과는 대상에 따라 달랐다. 2026년 5거래일 후 범위 변동성에서 미세 조정 모델은 주식의 HAR 방식 회귀보다 2.26% 나았지만, 원본 모델도 거의 같은 점 추정치를 보였다. 주식형 펀드 세 종목에서는 미세 조정 모델이 회귀보다 5.08% 나빴다. 이 평가는 거래 체결, 거래 비용 또는 수익 추정을 포함한 매매 전략 시험이 아니므로 예측 개선이 실제 투자 성과로 이어진다고 볼 수 없다.
불확실성 구간도 실제 관측을 충분히 포함하지 못했다. 미세 조정 모델의 명목 90% 구간은 2026년 주식 수익률에서 다음 거래일 결과의 83.75%, 5거래일 후 결과의 84.11%를 포함했다. 원본 모델의 비율도 각각 85.18%와 84.82%였다. 위험 한도를 정하는 데 활용하려면 구간을 점검하고 재보정해야 한다. 일별 분위수 예측을 더해 누적 가격 경로의 유효한 불확실성 구간을 만들 수도 없다.
평가에 쓰지 않은 국채 펀드 TLT, 금 펀드 GLD, 원유 선물 펀드 USO에서는 2026년 5거래일 후 거래량 예측이 조건부 회귀를 뚜렷하게 앞선 사례가 없었다. 각 구간은 모두 0을 포함했다. 특히 USO는 현물 원유가 아니라 원유 선물 펀드이므로, 원유 시장에 관한 결론을 내리려면 별도의 평가가 필요하다.
36회의 Timestral-28M 미세 조정 실행은 16GB M2 MacBook Air에서 GPU 없이 진행됐다. 학습과 검증에 쓴 CPU 시간은 총 101.6분이었다. 연구팀은 실험을 재현할 수 있도록 데이터, 원본 가중치, 선택된 체크포인트, 프로토콜, 의존성 및 검증 스크립트를 보관했다고 밝혔다.
이번 평가는 회고적이다. 모든 예측 날짜가 Timestral의 10월 15일 출시 전이었고, 원본 모델이 사전 학습에서 어떤 금융 데이터를 봤는지는 알 수 없다. 따라서 시간순 미세 조정 분할만으로 사전 학습 모델에 완전히 새로운 시험을 했다고 확정할 수 없다. 평가 대상도 사후 조정 데이터를 사용한 생존 종목 중심의 고정 표본이며, 별도로 남겨 둔 예측 날짜는 40개뿐이다.
연구팀은 다음 단계로 출시 이후의 새 관측치를 모으기 전에 원본 28M 모델과 거래량 비교 기준, 점수 산정 방식을 고정하고, 거래량 예측을 적용할 구체적인 용도를 정해 의사결정에 도움이 되는지 확인하겠다고 제안했다. 미세 조정은 원본 모델보다 안정적인 이점이 확인된 뒤 고려하는 편이 타당하다는 것이 이번 결과의 시사점이다.
참고 자료: Timestral 소개, 2026년 연구 노트, 거래량 비교 데이터와 파일 출처, Parkinson 고가-저가 범위 추정치, 시계열 기반 금융 모델 평가, HAR 접근법, 기반 모델 평가 연구.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요