AI가 사람처럼 글을 못 쓴다고 단정하긴 어렵다

AI 글 판별기가 50개 넘게 나오고, 텍스트를 입력하면 점수와 백분율을 보여주는 서비스도 있지만, 이런 수치만으로 글의 출처를 판단해서는 안 된다. AI 글을 사람처럼 만들 수 있는지보다 판별 결과가 얼마나 믿을 만한지 살펴야 한다.

AI를 둘러싼 관점은 대체로 두 가지다. AI가 인간의 결과물을 대체할 수 있다는 관점과, AI는 결코 인간이 될 수 없다는 관점이다. 둘 다 어느 정도는 맞다. 인간다움의 정의가 느슨해 AI가 인간일 수 없다는 주장은 계속 이어질 수 있지만, AI는 사람처럼 글을 쓸 수 있으며 그 과정에서 대체로 인간이 방향을 잡는다. 글이 사람이나 AI 가운데 누구의 것인지 확실히 판별하는 문제보다, 의심을 낳는 단서를 찾아 더 조사하고 판단하는 일이 중요하다.

판별기의 점수와 시각적 표시를 그대로 믿지 말아야 한다. 점수의 민감도를 살펴보려면 AI 모델이 쓴 글에서 200단어를 복사해 검사하고, 의미 있는 단어 두 개를 무작위로 바꾼 뒤 점수가 얼마나 달라지는지 비교할 수 있다. 변화가 크다면 판별기가 입력에 매우 민감하다는 뜻이며, 실제 환경에서도 결과가 안정적이지 않을 수 있다고 추론할 수 있다. 변화가 작다면 문장 순서를 무작위로 섞어 다시 검사한다. 그때 점수가 달라진다면 결과의 일관성을 의심할 수 있다.

글을 측정하는 방식이 정확하다면 같은 텍스트를 어떻게 나누더라도 백분율 점수가 일관돼야 한다. 보여주기 위한 점수라면 입력을 조금 바꿨을 때 결과가 크게 달라질 수 있다. 다만 같은 텍스트를 바꾸지 않고 여러 번 검사하는 방식은 권하지 않는다. 판별기가 재평가 대신 저장된 결과를 보여줄 수 있기 때문이다. 데이터 작업에서 늘 예외값이 생긴다는 점도 고려해야 한다.

판별 결과는 확정이 아니라 추가로 살펴볼 신호로 다뤄야 한다. 화면이 주는 안도감에 휩쓸리지 말고 실제로 어떤 근거가 있는지 확인해야 한다. 특히 사람이 방향을 잡아 준다면 AI는 충분히 사람처럼 글을 쓸 수 있으므로, 그렇지 않다고 단정하는 것은 어리석다.

원문