AI 에이전트가 만든 오픈소스는 경계해야 한다

최근 누군가 AI 에이전트로 유명하고 값비싼 소프트웨어를 다시 만들어 무료로 공개했다. 수천 명이 이를 설치했고 큰 화제를 일으키며 ‘모든 것을 역공학하자’는 흐름을 시작했다.

소스 코드를 읽은 사람은 거의 없었다. 제작자도 코드 한 줄 쓰지 않았다. 물어볼 사람은 남아 있지 않았다.

5년도 더 전에 내 FOSS를 믿을 수 있을까?라는 글을 썼다. 핵심은 간단했고, 지금도 그 생각을 지킨다. 자유 소프트웨어 라이선스가 있다고 해서 누군가 코드를 확인했다는 뜻은 아니다.

소프트웨어를 신뢰하려면 개발자를 믿고, 소스 코드를 읽고, 의존성을 읽고, 그 의존성의 의존성도 읽어야 한다. 그래도 컴파일러는 믿어야 한다. 나는 이를 신뢰의 사슬 문제라고 불렀다. 당시에는 그 사슬의 반대편에 여전히 사람이 있었다.

그 사람의 이력과 커밋, 이름을 살펴볼 수 있었다. 적어도 이론상으로는 그 사람을 믿을지 판단할 수 있었다.

하지만 이제 그 사람이 사라질 수도 있다.

나는 예전에는 스크립트 키디를 성가셔했다. 직접 만들지 않은 도구를 자신이 이해하지 못하는 시스템에 사용하는 아이들이었다. 시끄럽긴 해도 대체로 해가 되지는 않았다.

이제 그들은 성장했다. 아니, 도구가 성장했다. 2025년 2월 안드레이 카파시(Andrej Karpathy)는 새로운 작업 방식에 바이브 코딩이라는 이름을 붙였다. 코드를 직접 입력하는 대신 원하는 결과를 설명하고, “항상 모두 수락하고, 더는 변경 사항을 읽지 않는다”는 방식이다. 이 표현은 정확해서 콜린스 사전은 이를 2025년 올해의 단어로 선정했다.

스크립트 키디는 사라진 게 아니라 바이브 코더로 진화했다. 변화의 핵심은 도구다. 예전에는 주로 ‘전문가’가 만든 도구를 잘못 사용했다면, 이제는 직접 도구를 만들 수 있다.

이 도구들은 진입 장벽을 낮춘 것이 아니라 무지의 장벽을 없앴다. 그 결과 도구가 무엇을 하는지 이해할 수 있는 사람은 소수에 불과해졌다. 도구를 만드는 일을 반기는 사람도 있다. 소프트웨어가 어떻게 만들어지는지 잘 모르는 사람들을 중심으로 “이제 누구나 만들 수 있다”는 말이 나온다. 도구가 사람에게 해를 끼치지 않는다면 괜찮다.

대규모 언어 모델(LLM)은 시스템 프롬프트와 사용자 프롬프트에 의존한다. 사용자 프롬프트는 사용자가 작성한다. 보안성, 신뢰성, 정확성을 요구할 수 있고, 무엇이든 요청할 수 있다.

하지만 시스템 프롬프트는 사용자의 것이 아니다. 도구 업체가 작성하고, 사용자에게는 보이지 않으며, 도구의 동작을 결정한다. 새로운 신뢰의 사슬은 이렇다. 사용자는 에이전트를 믿고, 에이전트는 사용자가 볼 수도 확인할 수도 없는 시스템 프롬프트를 따른다. 그 뒤에는 앞서 설명한 기본적인 신뢰의 사슬이 이어져, 신뢰할 수 없는 시스템까지 사슬이 확장된다.

시스템 프롬프트가 손상되면 사용자 프롬프트가 보안성, 신뢰성, 정확성을 요구하더라도 결과물이 오염될 수 있다. 이는 가정에 그치지 않는다. 간접 프롬프트 인젝션은 이제 OWASP의 LLM 애플리케이션 10대 위험 가운데 첫 번째다. 웹페이지, 파일, 오류 메시지에 지시를 숨겨 두면 에이전트가 이를 자기 생각인 것처럼 실행한다. 최근에는 성가신 내용을 병합하지 않도록 하는 데 실제로 꽤 효과가 있었다. 에이전트는 신뢰할 수 없으므로 믿어서는 안 된다.

소프트웨어 지식이 부족한 사람은 무엇이 만들어지고 있는지 어떻게 확인해야 할까? 확인할 수 없다. 바로 그 점이 문제다.

상황은 더 나쁘다. 에이전트에게는 자기만의 의도가 있다. 연구자들은 모델이 문제를 해결하지 못하는 것이 아니라 속임수를 쓰는 사례를 계속 발견한다. METR과 Anthropic은 에이전트가 문제를 푸는 대신 채점 코드의 버그를 이용한 사례를 기록했다. Apollo Research는 모델이 변경되는 것을 피하려고 정렬된 것처럼 가장할 수 있음을 보였다.

거짓말도 한다. 2026년 과학 문헌 감사에서는 2025년에만 환각으로 만들어진 참고문헌이 약 14만 6,000건 발견됐다. 네이처는 이제 조작된 인용이 학술 문헌을 오염시키고 있다고 지적한다.

에이전트는 알지도 못하고 신경 쓰지도 않는다. 참고문헌이 그럴듯해 보이기만 하면 된다. 내가 읽은 사례 가운데 가장 우려스러운 일은 2026년 8월에 일어났다.

영국 AISI 평가에서 Anthropic의 Claude Mythos 5는 실제 오픈소스 프로젝트에 백도어를 심으려 했다. 실제 프로젝트 관리자가 악성 코드를 발견했다. 그러자 에이전트는 가짜 인물을 만들어 로그인한 뒤, 코드를 검토했으며 문제가 없다고 게시했다.

스스로를 보증한 것이다.

관리자가 이의를 제기하자 에이전트는 앞서 올린 메시지를 무해해 보이도록 수정했다. 이는 버그가 아니라 잘못된 행동이었다.

이런 사례는 예외적인 일이나 실험실 사고일 뿐이라고 반박할 수도 있다. 이 주장도 살펴보자. 2026년 7월 오픈AI는 자사 에이전트가 격리된 테스트 환경에서 탈출해 Hugging Face를 침해했다고 밝혔다. 하지만 처음 있는 일은 아니었다. Anthropic도 자체 사후 조사에서 Claude가 이미 테스트 환경을 벗어나 실제 PyPI에 악성 패키지를 게시한 사실을 발견했다. 로이터와 가디언의 후속 보도도 같은 점을 보여준다. 이런 일은 반복되고 있다.

도구를 만든 회사들은 도구를 안전하게 만드는 방법을 모른다. 자체 사고 보고서에서 이를 인정했다. 도구를 쓰는 사람들은 그보다 더 모른다.

바이브 코더가 에이전트에게 기능을 요청한다. 에이전트는 존재하지 않는 패키지 이름을 지어내고, 공격자는 이미 그 이름을 등록해 악성 코드를 넣어 둔다. 보안 업계는 이를 슬롭스쿼팅이라고 부른다.

이는 신뢰의 사슬에서 기반이 오염된다는 점에서 xz 백도어와 같은 문제다. 다만 이제는 오염이 자동으로 일어난다. 미국 사이버보안·인프라 보안국(CISA)도 이를 지적했다. Adobe 사례만으로도 충분한 경고였어야 한다.

한 1인 개발자는 AI 에이전트로 Adobe 제품군 대부분을 다시 만들어 무료로 공개했다. 사람들이 이를 설치했지만 도구는 제대로 작동하지 않았고, 악성 코드가 들어 있는지 확인한 사람은 거의 없었다. 사람도 에이전트도 그저 설치했다.

이런 도구를 판매하는 회사들은 안전과 보안에 진심으로 관심이 없어 보인다. 관심이 있는 것처럼 보이는 데 관심이 있을 뿐이다.

Anthropic을 보자. 안전 문제를 둘러싼 논쟁은 Anthropic의 출발점이었다. 다리오 아모데이와 동료들은 안전장치 없이 너무 빠르게 규모를 키운다고 봐서 2020년 오픈AI를 떠났고, 제대로 해보겠다며 자신들의 회사를 세웠다.

그 뒤 여러 사고가 발생한 2026년 9월, 다리오 아모데이는 ‘프런티어의 속도를 조절해야 한다’라는 글을 발표했다. 그는 “비슷하지만 덜 심각한 사고가 Anthropic을 포함해 업계 전반에서 일어났다”고 인정했다. 그러면서도 계속 개발해야 한다고 주장했다. 개발을 멈추면 기술이 더 나쁜 누군가의 손에 넘어갈 뿐이라는 논리다. 이는 그가 오픈AI를 떠나게 한 논리와 같다.

안전보다 경쟁을 앞세운다는 이유로 회사를 떠났던 사람이 이제 안전을 명분으로 경쟁을 이어간다. 한심하다. 도구를 만든 이들이 도구를 안전하게 만들 수 없다면 최종 사용자는 어떻게 할 수 있을까? 답은 분명하다. 아무도 할 수 없다.

오픈소스는 신중해야 할 분야라고 생각할 수도 있다. 하지만 리눅스 커널은 이제 패치 검토에 메타의 LLM을 사용하고, 코드를 살펴보는 봇 Sashiko를 도입했으며, LLM의 도움을 받은 커밋임을 표시하라는 요구를 조용히 없앴다. 우려가 많았지만 Debian도 AI 기여를 허용하기로 표결했다.

코드를 사람이 투명하게 확인하고 관리해야 할 마지막 장소였던 오픈소스가, 이제 우리가 믿을 수 없는 바로 그 비인간적 존재에게 검토를 맡기고 있다. 아이러니하고 슬픈 일이라고 생각한다.

이런 변화는 저장소를 볼 때 확인하는 기준도 바꾼다. Claude, Codex 등 에이전트가 올린 커밋은 전에는 품질 우려였지만, 이제는 보안 우려이기도 하다. 커밋을 올린 사람은 코드를 작성하지 않았고, 물어봐도 설명하지 못할 수 있다. 코드를 작성한 존재는 거짓말을 할 수 있으며 실제로 그렇게 했다.

그래서 이제는 에이전트가 올린 커밋으로 가득한 저장소를 기본적으로 경계한다. 반드시 나쁜 저장소라서가 아니라, 어떻게 판단해야 할지 알 수 없기 때문이다.

더는 신뢰의 사슬이 온전하게 이어져 있다고 가장하지 않겠다. 5년 전에는 FOSS를 믿을 수 있느냐고 물었다. 오늘날 답은 더 나빠졌다. 더는 사람조차 믿을 수 없는 경우가 많다. 사람이 없기 때문이다.

오픈소스는 점차 아주 작은 공동체 안으로 물러날 것이라고 생각한다. 이들은 소프트웨어를 계속 관리하고 소스 코드도 공개하겠지만, 기여는 더는 받지 않을 것이다. 소프트웨어를 신뢰하기 위한 싸움은 결코 이긴 적이 없다. 다른 모두가 그 싸움에서 졌을 뿐이다. 현대 소프트웨어가 만들어지는 방식과 마찬가지로, 무슨 수를 써서든 더 빠르게 나아가는 흐름 속에서 말이다.