데이터 오염은 창작물을 오래 보호하지 못한다

데이터 오염(data poisoning)은 무단 학습이나 모방으로부터 창작물을 지키려는 방법이지만, 이 글은 그 보호가 특정 모델에만 적용되고 새 모델에는 통하지 않을 수 있다고 주장한다. 글의 결론은 데이터 오염만으로 지속적인 보호를 보장할 수 없다는 것이다.

글은 먼저 Nightshade가 자사 웹사이트에서 설명한 데이터 오염 도구를 소개하며, 창작자의 작업이 도용되고 품질이 낮은 유사물이 다른 사람의 작품으로 주장되는 문제를 인정한다. 다만 법적 보호가 충분하지 않다는 이유로 데이터 오염을 해결책으로 삼으면, 창작물이 안전하다는 잘못된 믿음을 줄 수 있다고 우려한다.

이 글의 논거는 데이터 오염이 기계는 실패하지만 사람은 성공하는 지각상의 차이를 이용한다는 데 있다. 오염 도구는 특정 모델에서 그런 차이가 나타나는 사례를 찾아 활용하지만, 다른 모델이나 미래의 모델까지 보호하지는 못한다는 설명이다. CAPTCHA도 결국 실패할 수 있지만 계속 갱신하며 대응할 수 있는 반면, 데이터 오염 도구를 다시 만들어야 한다는 것은 이전 방식이 현재 모델에 더 이상 효과적이지 않다는 뜻이며, 기존에 보호됐다고 여긴 데이터도 더는 보호되지 않을 수 있다고 글은 주장한다.

글은 생물학·화학·물리학에 기반한 지각 능력도 기계가 구현할 수 있으며, 영혼이나 자유의지처럼 검증할 수 없는 개념은 사람과 기계를 구분하는 공학적 수단으로 활용하기 어렵다고 본다. 보안 분야의 다른 대응처럼 처리 비용이나 난도를 높이는 방법은 시도할 수 있지만, 데이터가 모든 모델에 똑같이 오염되는 것도 아니고 오염 상태가 계속 유지되는 것도 아니라는 점이 한계라고 덧붙인다.

데이터 오염의 특정 유형이 오염시키려던 모델에서도 약점을 보였다는 내용의 arXiv 논문과, 함께 읽을거리로 소개된 AI 결정론 논쟁에 관한 글이 참고 자료로 제시됐다.