직원이 해고될 상황에서 관리자는 AI에 실적 문제를 설명하고 도움을 구한다. AI는 공정하고 배려 있는 표현을 제안하지만 직원의 설명은 듣지 못했다. 그럴듯한 말투가 실제로 공정성을 따져 봤다는 증거처럼 받아들여질 수 있다.

리머릭대학교의 루크 대너거(Luke Danagher)는 이 위험을 분석했다. 그는 AI의 말솜씨가 윤리적 신뢰성의 근거로 오인될 수 있다고 주장한다. 채용이나 직장 민원, 공공서비스에서 AI를 활용하는 기관이라면 답변의 어조뿐 아니라 결정 과정 자체를 살펴야 한다.

대너거는 《Philosophy & Technology》에 발표한 연구에서 이를 ‘가면 같은 정렬(mask-like alignment)’이라고 부른다. 시스템이 윤리적으로 유능해 보이는 모습이 실제 시험과 보호 장치, 사용 조건이 뒷받침하는 수준보다 더 큰 신뢰를 불러오는 현상이다.

공정해 보이는 답변은 무엇을 가릴 수 있나?

관리자의 설명은 사실일 수 있지만 한쪽의 이야기일 뿐이다. 직원의 해명이나 빠진 맥락이 있을 수 있고, 관리자가 이미 결론을 정했을 수도 있다. AI는 우려 사항을 기록하고 정책을 일관되게 적용하라고 조언하며, 차별을 피하고 신중하게 결정 내용을 전할 표현을 제안할 수 있다. 답변에 명백한 거짓이나 부적절한 내용이 없어도 문제는 남는다. AI가 직원의 설명을 듣거나 사실을 독립적으로 확인한 것은 아니기 때문이다.

이런 답변은 관리자가 내린 결정을 윤리적으로 검토한 것이 아니라, 이미 선호하는 결론을 책임감 있는 말로 포장하는 데 그칠 수 있다. AI가 받은 정보와 모순되지 않는 답을 했더라도, 그 정보의 한계를 짚지 못할 수 있다. 지어낸 사실이나 환각(사실과 다른 내용을 만들어 내는 현상)이 없어도 충분히 검토되지 않은 결정을 배려와 공정성의 외양으로 감쌀 수 있다는 뜻이다.

공정한 말을 앞세워 문제의 소지가 있는 결정을 옹호하는 일은 AI만의 문제가 아니다. 관리자와 변호사, 공직자도 그럴 수 있다. 그렇다고 사람의 판단이 반드시 더 나은 것도 아니다. 제대로 설계한 시스템은 일관성을 높이고 사람이 놓친 고려 사항을 찾아 절차를 더 공정하게 만들 가능성도 있다. 대너거가 강조하는 위험은 AI가 언제나 더 나쁘다는 것이 아니다. 윤리적으로 능숙하게 말하는 능력을 윤리적으로 믿을 만하다는 증거로 착각할 수 있다는 점이다.

AI는 이런 설명을 큰 규모로 반복 생성할 수도 있다. 채용, 직장 민원, 공공서비스에서 수천 건의 답변이 세심하고 중립적이며 윤리적으로 숙고한 듯 들릴 수 있다. 받는 사람에 맞춰 표현을 즉시 바꾸면 기관의 결정이 실제보다 더 깊이 검토된 것처럼 보일 수 있다. 설득력 있는 설명을 만들어 내는 능력이 그 설명의 정당성을 보장할 보호 장치보다 빠르게 커지면, 기관은 윤리적 신뢰성보다 윤리적인 모습부터 대규모로 만들어 낼 수 있다.

기관은 무엇을 확인해야 하나?

대너거는 민감한 결정에 AI를 쓰기 전에 시스템이 주어진 이야기에 이의를 제기하는지 살펴야 한다고 제안한다. 불완전하거나 한쪽으로 치우친 설명을 받았을 때 어떻게 반응하는지, 사용자가 이미 선호하는 결론을 정당화하라고 압박할 때 어떻게 답하는지 시험해야 한다. 시스템이 빠진 관점을 알아채는지, 영향을 받는 사람의 설명을 묻는지, 근거가 부족한 가정을 지적하는지, 추가 정보 없이는 진행하지 말라고 권하는지, 조언의 한계를 분명히 밝히는지를 확인할 수 있다.

도입 뒤의 점검도 이어져야 한다. 모델은 바뀌고 기관은 새로운 용도를 찾으며, 사용자는 원하는 답을 끌어내는 새로운 방법을 익힌다. 중립적인 시험 질문에 믿을 만하게 답한 시스템도 관리자나 공직자, 기업이 각자의 이익을 추구하는 상황에서는 다르게 행동할 수 있다. 실제 사용에서 생기는 압력과 이해관계의 충돌을 반영해 시험해야 한다.

사람의 감독도 이름만으로 충분하지 않다. 담당자에게 시스템의 답을 반박할 시간과 정보, 권한이 없다면 ‘사람이 개입한다’는 절차는 형식에 그칠 수 있다. 자신감 있고 전문적인 말투로 제시된 권고를 그대로 승인하는 것이 감독은 아니다. 해고를 앞둔 직원이 관리자 입력에 담긴 설명에 이의를 제기할 수 있는지, 권한 있는 사람이 직원의 설명을 바탕으로 결정을 다시 살펴볼 수 있는지가 중요하다. 신중하게 쓴 해고 통지서는 그런 기회를 대신할 수 없다.

기관은 AI를 언제, 어떻게 사용했는지 기록하고 최종 결정에 책임지는 사람이 누구인지 밝혀야 한다. AI가 만든 정당화가 당사자의 이의 제기를 막는 장벽이 되지 않도록 해야 한다. 모델과 사용 방식이 바뀌면 처음 도입할 때와 다른 결과가 나올 수 있으므로, 시스템의 말투가 더 큰 권위를 얻을수록 지속적인 감독도 더 엄격해야 한다.

대너거가 마지막으로 던지는 질문은 기계가 언젠가 인간의 통제를 벗어날지에 그치지 않는다. 기관이 공정성과 책임의 언어를 유창하게 쓰는 능력을 신뢰를 얻었다는 증거로 받아들이고, 그에 따라 권한을 넘기고 있지는 않은지 살펴야 한다. 원문은 이런 일이 실제 기관에서 얼마나 자주 일어나는지에 관한 수치나 측정 결과를 제시하지 않는다.