RYTHUN은 RLHF 유해성 선호 데이터셋 200개 항목을 대상으로 한 품질 보고서를 샘플 작업으로 공개했다. 저장소 첫머리에는 관찰 일치도 84%, Fleiss' Kappa 0.68이라고 적혀 있지만, 보고서 본문에는 각각 91.00%와 0.820으로 기재돼 있어 수치가 일치하지 않는다. 자료에는 주석자 3명과 조정 절차가 설명돼 있으며, 전체 데이터셋은 비밀유지계약(NDA) 대상이라고 밝힌다.
보고서의 범위와 수치
이 저장소는 RLHF 안전성 정렬을 위한 200개 항목의 사람 주석 선호도 파일럿을 설명한다. RYTHUN은 주석자 간 일치도(IAA)를 측정하고, 이견을 공식 조정 절차로 처리해 안전성 튜닝에 사용할 데이터를 마련하는 방법을 보여주는 자료라고 소개한다. 원시 주석 행렬은 공개하지 않으며, 샘플에는 방법론과 비식별 처리한 사례만 포함했다고 설명한다.
보고서의 ‘한눈에 보기’ 항목은 다음과 같다.
- 작업: 유해성 관련 쌍별 선호도 평가
- 항목: 200개
- 항목당 주석자: 서로 독립적인 전문가 3명
- 전체 주석 수: 600개
- 라벨 범주: 2개(
A/B) - 언어: 영어
- 관찰 일치도: 91.00%
- Fleiss' Kappa: 0.820
본문은 원시 라벨을 집계하기 전에 여러 IAA 지표를 계산했다고 설명한다. 주된 지표에서 우연 일치 기준선(P_e)은 A/B 분포가 균형을 이룬다고 가정했을 때 50.00%다. 관찰 일치도(P_o)는 세 주석자 사이의 원시 쌍별 일치도를 가리키며 91.00%로 제시됐다. 우연 일치를 보정한 Fleiss' Kappa는 0.820, 명목형 Krippendorff's Alpha는 0.821이다. 보고서는 Fleiss' Kappa가 Landis와 Koch의 기준에서 ‘거의 완벽’ 범주에 해당한다고 설명한다.
RYTHUN은 이 수치를 근거로 주석 지침이 정밀하고 주석자 간 조정이 잘 이뤄졌으며, 결과 데이터가 RLHF 학습에 높은 충실도를 제공한다고 주장한다. 이는 보고서에 담긴 업체의 해석이다.
주석자 쌍별 Cohen's Kappa는 다음과 같이 제시됐다.
| 주석자 쌍 | Cohen's Kappa | 원시 일치도 |
|---|---|---|
| annotator_1 vs annotator_2 | 0.805 | 90.5% |
| annotator_1 vs annotator_3 | 0.815 | 91.0% |
| annotator_2 vs annotator_3 | 0.840 | 92.5% |
다수결 라벨과 각 주석자의 일치도는 annotator_1이 94.5%(189/200), annotator_2가 95.0%(190/200), annotator_3이 95.5%(191/200)다. 세 사람 모두 200개 항목을 평가했다.
전체 200개 항목 가운데 세 주석자가 모두 같은 라벨을 선택한 경우는 173개(86.5%)이고, 2대 1로 의견이 갈린 경우는 27개(13.5%)다. 이견 27건 중 14건은 2명이 A, 1명이 B를 선택했고(7.0%), 13건은 2명이 B, 1명이 A를 선택했다(6.5%). 보고서는 이 27건 모두 공식 조정 절차를 거쳐 최종 기준 라벨을 정했다고 설명한다.
주석과 조정 절차
RYTHUN이 설명한 품질 관리 과정은 다음과 같다.
- 지침 설계: 직접적 피해, 간접적 피해, 경계 사례를 정의하는 엄격한 유해성 평가 기준을 마련한다.
- 독립 주석: 주석자 3명이 서로의 선택을 모르는 상태에서 모델의 사전 라벨 없이 모든 항목을 평가한다.
- 다수결: 3명 중 2명의 선택으로 최종 라벨을 정한다.
- 조정: 2대 1로 의견이 갈린 모든 사례를 선임 검토자가 살펴보고, 최종 결정마다 서면 근거를 남긴다.
- IAA 감사: 사후에 결과를 합리화하지 않도록 라벨을 집계하기 전에 지표를 계산한다.
파일럿 제공 조건
RYTHUN은 프런티어 AI 연구소와 안전 팀을 대상으로 문서화된 데이터를 제공한다고 소개한다. 파일럿 프로그램은 고객 데이터로 작업 역량을 확인할 수 있도록 할인 방식으로 운영한다고 설명한다.
| 단계 | 범위 | 가격 | 제공 항목 |
|---|---|---|---|
| Smoke Test | 고객 데이터 20~50개 항목 | 무료 | 라벨 파일과 근거 |
| Discounted Pilot | 200~500개 항목 | 표준 요금에서 50% 할인 | CSV, 전체 IAA 보고서, 조정 기록 |
| Production | 월 2,000개 이상 항목 | 합의한 표준 요금 | IAA를 계속 감사하는 주간 배치 |
파일럿의 목표는 데이터셋에서 Fleiss' Kappa 0.80 이상을 달성하는 것이다. RYTHUN은 결과를 전달할 때 주석 행렬, IAA 계산 스크립트, 감사 보고서를 제공하며, 고객 엔지니어가 스크립트를 로컬에서 실행해 Kappa 점수를 독립적으로 확인할 수 있다고 설명한다. 기준을 충족하면 표준 요금의 정식 생산 계약으로 전환하고, 충족하지 못하면 기준에 도달할 때까지 파일럿을 무료로 수정한다고 밝힌다.
저장소는 자료의 라이선스를 ‘독점 및 기밀’로 표시한다. 저작권 표기는 Copyright (c) 2026 RYTHUN이며, 자료는 평가 목적으로만 제공된다. 별도의 서면 라이선스 계약 없이 자료를 사용·복제하거나 상업적으로 배포할 수 없다고 명시한다. 자세한 조건은 저장소의 LICENSE 파일에 있다고 안내한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요