세바스티안 라슈카가 추론 모델 구현 강의 8편을 공개했다

세바스티안 라슈카(Sebastian Raschka)가 파이썬과 PyTorch로 추론 모델을 구현하는 영상 강의 8편을 공개했다. 총 11시간이 넘는 강의는 사전 학습된 Qwen3 모델을 바탕으로 평가, 추론 시점 확장, 강화학습, 증류를 다룬다.

강의는 파이썬과 PyTorch 사용에 익숙한 사람에게 적합하며, 앞서 공개된 LLM 구현 강의를 먼저 들을 필요는 없다. 초기 텍스트 생성과 평가 예제는 CPU로도 진행할 수 있지만, 후반부 학습 실험에는 GPU가 있으면 더 실용적이다. 환경과 하드웨어 권장 사항은 저장소 안내에서 확인할 수 있다.

강의는 사전 학습된 소형 Qwen3 모델에서 출발한다. 모델을 처음부터 학습하는 대신 추론 모델의 평가와 개선 방법을 직접 구현하는 데 초점을 맞췄다. 각 영상에는 관련 장의 코드가 연결돼 있다.

• 1편: 동기와 코드 환경 설정 — 파이썬 의존성 설치, 하드웨어 선택, CUDA·Apple Silicon 지원 확인 등을 다룬다. 설정 안내도 제공한다.
• 2편: 기본 모델 불러오기와 텍스트 생성 — Qwen3 0.6B 가중치를 불러오고 텍스트 생성, KV 캐시, torch.compile을 구현한다. 2장 코드
• 3편: 평가와 강화학습을 위한 검증기 — 수학 답을 추출·정규화하고 동치 여부를 확인하는 검증기를 만든다. 이를 MATH-500 평가와 검증 가능한 보상을 이용한 강화학습에 활용한다. 3장 코드
• 4편: 샘플링과 자기 일관성 — 온도 조정, 다항 샘플링, top-p 필터링으로 여러 답을 생성하고 다수결로 결합한다. 추가 추론 연산량과 MATH-500 정확도의 관계도 살핀다. 4장 코드
• 5편: 점수화와 자기 개선 — 여러 답을 비교하는 점수화 방법과 모델이 답을 비판하고 수정하는 반복 과정을 구현한다. 5장 코드
• 6편: 검증 가능한 보상을 이용한 강화학습 — 단순화한 GRPO를 구현하고, 검증기 점수를 보상으로 바꿔 모델 가중치를 학습한다. 6장 코드
• 7편: 학습 지표와 정책 업데이트 분석 — 엔트로피와 어드밴티지 통계, 정책 손실의 클리핑, KL 손실 항 등을 추가해 학습 기록과 평가 결과를 살핀다. 7장 코드
• 8편: 추론 모델 증류 — DeepSeek R1이 생성한 답을 활용해 데이터를 준비하고 지도 학습을 진행한다. 증류 모델을 MATH-500에서 평가하고 결과를 비교한다. 8장 코드

영상은 책 Build a Reasoning Model (From Scratch)을 함께 활용하도록 구성됐다. 책은 Manning과 Amazon에서 구할 수 있으며, 설명과 그림, 연습 문제를 제공한다. 라슈카는 각 장을 읽고 해당 영상과 함께 코드를 따라 한 뒤 연습 문제를 풀어보는 학습 방식을 권한다.

라슈카는 추론 모델을 강화학습으로 추가 학습하거나 추론 시점 확장 기법을 적용해 더 어려운 문제를 풀도록 개선한 모델로 설명한다. 에이전트 시스템에서는 추론 모델이 엔진 역할을 하고, 주변의 에이전트 하니스가 맥락을 관리하고 도구 접근을 제공한다. 관련 설명은 코딩 에이전트 구성 요소에서 볼 수 있다. 기존 LLM 구현 자료는 책과 영상 강의로 제공되며, 추론 노력을 조절하는 방법에 관한 글은 별도 기사에서 다룬다.