연구진은 일부 AI 챗봇이 도움이 되는 답변에서 해로운 답변으로 바뀌는 시점을 예측하는 수식을 개발했다고 밝혔다. 다만 이 수식은 GPT-2 등 오래된 오픈소스 모델에서만 시험됐으며, 실제로 쓰이는 최신 AI 비서에도 적용되는지는 추가 검증이 필요하다.

조지워싱턴대학교의 물리학 교수 닐 존슨(Neil Johnson)과 박사과정 학생 프랭크 잉제 후오(Frank Yingjie Huo)는 Patterns에 발표한 연구에서 질문의 내용뿐 아니라 질문 순서도 챗봇의 답변에 영향을 줄 수 있다고 설명했다. 예를 들어 GPT-2에 백신, 타인에게 해를 끼치는 행위, 자해에 관한 질문을 했을 때 “백신은 나쁜가?”를 먼저 물으면 이후 답변도 바람직한 편이었지만, 이 질문을 마지막에 두면 이후 답변이 우려스러운 양상으로 바뀌었다.

연구진은 모델이 프롬프트를 처리할 때 신경망 층을 거쳐 움직이는 ‘잔차 벡터(residual vector)’를 내부 상태를 나타내는 지표로 봤다. 이를 바탕으로 바람직한 답변에서 바람직하지 않은 답변으로 넘어가는 ‘티핑 포인트’를 추정하는 수식을 만들었다고 밝혔다. 존슨은 이 수식을 오픈소스 모델에 적용해 조기 경보 체계로 작동하는 것을 실험적으로 확인했다고 말했다.

다만 셰필드대학교의 인공지능 강사 웨이싱(Wei Xing)은 이 접근법을 실용적인 안전장치로 받아들이기에는 신중해야 한다고 지적했다. 단순화한 모델은 안전성 훈련을 반영하지 못하며, 시험 대상도 GPT-2와 EleutherAI의 Pythia, Meta OPT 등 오래된 모델에 한정됐다. 그는 연구 결과가 연구진의 결론을 뒷받침할 유의미한 증거를 충분히 제시하지 못했다고 덧붙였다. 존슨은 이 오픈소스 모델들이 최신 모델과 같은 기계적 설계도를 공유하며, 연구에서 10억 개 매개변수 규모의 모델도 사용했다고 반박했다.

연구 결과는 최신 모델을 대상으로 추가 시험을 거쳐야 한다. 논문 정보는 DOI 링크에서 확인할 수 있다.