합성 시장에서 훈련한 에이전트가 실제 위기에서도 헤지 오차를 줄였다

Sablier가 공개한 실험에서 합성 시장만 경험한 강화학습 에이전트는 실제 가격을 학습에 사용하지 않고도 2020년과 2022년 시장 위기 구간의 옵션 헤지 오차를 줄였다. 다만 실험은 단일 옵션 헤지 과제에 한정됐고, 훈련된 모델도 교과서적 델타 헤지보다 성능이 낮았다.

실험 저장소에서 공개한 주요 결과는 다음과 같다. 손실은 옵션 행사가 대비 헤지 오차이며 낮을수록 좋다.

비교 기준으로 같은 기간에 헤지를 전혀 하지 않은 전략의 손실은 0.0388과 0.0293, 일정하게 50% 헤지한 전략은 0.0203과 0.0149, 교과서적 델타 헤지는 0.0120과 0.0091이었다. 훈련 전 모델은 헤지하지 않는 전략과 비슷했고, 훈련 후에는 일정한 50% 헤지와 델타 헤지 사이에 위치했다. 최악 10% 손실도 대략 절반으로 줄었다.

Sablier는 먼저 작은 모델을 Qwen3-1.7B로 훈련했다. 에이전트는 만기까지 거래일 21일이 남은 등가격 콜옵션을 매도한 상황에서 매일 기초자산 보유 비율을 0에서 1 사이로 정했다. 거래 비용은 거래액의 5베이시스포인트였다. 점수는 옵션 지급액과 프리미엄, 헤지 손익의 차이 및 비용으로 계산한 복제 오차이지 투자 수익이 아니다.

훈련에는 미국 ETF 4종의 21일 합성 가격 경로를 사용했다. 생성 모델은 2019년 12월 31일까지의 데이터로 맞췄고, 2011~2019년 실제 시장 상태를 조건으로 삼았으며, 각 자산의 2003~2019년 변동성에 맞췄다. 3,600개 훈련 경로와 별도로 보류한 400개 경로를 학습 확인에 사용했다. 실제 시험은 2020년과 2022년의 21거래일 구간을 5일 간격으로 뽑아 네 자산에 적용했다.

훈련 전에 시험의 통과 기준을 등록했으며, 두 위기 구간 모두에서 훈련 후 성능이 나아지고 신뢰구간이 0을 포함하지 않아야 통과하는 규칙이었다. 통계는 겹치는 구간 때문에 신뢰도를 과대평가하지 않도록 시작 날짜를 묶어 부트스트랩으로 계산했다. Sablier는 에피소드별 기록과 분석 스크립트를 저장소에 공개해 결과를 재현할 수 있다고 밝혔다.

더 큰 Qwen3-4B-Instruct-2507 모델을 같은 예산과 합성 시장으로 다섯 개 어댑터에 훈련한 추가 실험에서도 평균 손실은 줄었다. 다만 훈련 전부터 작은 모델보다 잘 헤지해 개선 폭은 작았고, 2020년 최악 10% 손실의 차이는 통계적으로 유의하지 않았다.

실험의 범위는 단일 자산 옵션 헤지, ETF 네 종, 21일 기간, 두 개의 소형 모델이며 전체 계산 비용은 약 1,000달러였다. 합성 시장 생성기가 다른 훈련 자료보다 낫다는 비교는 하지 않았다. 훈련 데이터와 훈련된 어댑터는 저장소에 포함되지 않았으며, 요청을 통해 받을 수 있다고 Sablier는 밝혔다. 합성 시장 데이터는 연구와 재현 용도로 공개했고 생성기 자체는 공개하지 않았다.

재현에 필요한 코드와 에피소드별 기록은 저장소에서 확인할 수 있다. 훈련 데이터와 어댑터 요청 주소는 team@sablier.ai다.

부록: 원문 예시

pip install -r requirements.txt python scripts/transfer_analyze.py runs/transfer --banks banks      # the headline table python scripts/score_pilot.py runs/stage0_pilot                     # the learning check (Stage 0) python scripts/trained_vs_untrained.py                              # the 5-seed 4B check python scripts/baselines.py exam_2020_overlap exam_2022_overlap     # the scripted reference players