Loxyn 조사서에서 정정된 오류가 학습 데이터에 남았다

정정된 법령 오류의 95.5%가 학습 자료에 남았습니다. Loxyn의 측정 도구 Céphéide는 유럽연합 법령 정정 2,082건을 살폈습니다. 그중 1,989건이 학습 데이터셋 EurlexResources에 오류 형태로 남았습니다. 이 비율이 마음에 걸립니다. 공식 정정이 끝나도 학습 자료가 따라오지 않으면, 모델이 옛 문구를 다시 답할 수 있기 때문입니다.

OXR이 파싱 오류와 불안정한 예측을 새 학습 데이터에 반영한다는 보도와 이어집니다. 두 소식은 학습 자료의 오류가 다음 학습에 미치는 영향을 다룹니다. Loxyn의 조사는 공식 정정이 학습 자료에 반영되지 않은 규모와 정정 표시가 모델의 답 선택을 바꾸는 모습을 보여줍니다.

새로운 점은 모델의 답이 정정 단서에 반응했다는 것입니다. 두 버전에 날짜와 정정 표시를 함께 붙이자, 더 큰 모델 네 개는 99~100%의 경우 정정본을 골랐습니다. 모델이 스스로 정정 이력을 찾아낸 것은 아니지만, 정정 정보를 문맥에 넣으면 답 선택이 크게 달라졌습니다.

다만 문서 없이 물었을 때 모델 다섯 개가 답을 고른 사례 중 45%는 오류 버전이었습니다. 두 버전만 나란히 제시했을 때 정정본 선택은 53%였습니다. 조사 대상은 다섯 모델의 특정 질문 조건이고, 295개 답변 중 '모른다'는 답도 하나뿐이었습니다. 제가 눈여겨보는 것은 법률 지식 전반의 점수보다, 정정 정보를 명시했을 때 나타난 큰 차이입니다.

평소 쓰는 법령 중 이미 정정된 조항 하나를 골라, 먼저 평소처럼 모델에 물어보십시오. 이어 옛 문구와 정정 문구, 날짜와 정정 표시를 함께 제시해 같은 질문을 해 보십시오. 답이 정정본 쪽으로 바뀌면 정정 단서가 필요했다는 뜻이므로, 공식 원문과 정정 이력도 대조해 보십시오.

평소 법령이나 규정을 AI에 물으실 때, 답을 무엇과 어떤 순서로 대조하십니까?