막심 멜루(Maxime Méloux), 지아다 디루포(Giada Dirupo), 프랑수아 포르테(François Portet), 막심 페이라르(Maxime Peyrard)는 AI 해석 기법이 무작위로 초기화된 신경망에서도 그럴듯해 보이는 설명을 만들 수 있다고 지적한다. 연구진은 설명을 통계적 추정치로 다루고, 대안 가설과 불확실성을 함께 검토해야 한다고 제안한다.
연구진은 특징 기여도 분석, 프로빙, 희소 오토인코더, 인과 분석에서도 이런 ‘죽은 연어’ 유형의 오류가 나타날 수 있다고 설명한다. 이는 신경과학 연구에서 죽은 연어의 뇌 영상에서도 사회적 감정과 관련된 영역이 있는 것처럼 분석된 사례에 빗댄 표현이다. 당시 결과는 초자연적 인지가 아니라 통계적 추론을 잘못 적용한 데서 나왔다.
논문은 설명의 변동성을 입력 데이터의 제한된 표본 탓으로만 돌려서는 안 된다고 주장한다. 해석 기법을 통계적 추정량으로 보고, 명시적이고 의미 있는 대안 계산 가설과 비교하며, 설정한 통계 모델에 따른 불확실성을 정량화해야 한다는 것이다. 또한 흔히 제기되는 해석 질문이 식별 가능한지 따져야 하며, 이는 허위 발견과 낮은 일반화 가능성, 높은 분산에 대한 취약성을 이해하는 데 중요하다고 강조한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요