간단한 보조 절차가 LLM의 접근 제어 취약점 수리율을 높였다

실제 웹앱 취약점 46건의 평균 수리율이 37.68%에서 66.03%로 올랐습니다. 연구진이 단일 호출에 두 가지 보조 절차를 더해 얻은 결과입니다. 저는 모델을 바꾸지 않고 절차만 더해 성과가 크게 달라진 점이 오래 남습니다. 보안 패치에서는 작업 방식도 모델 능력만큼 결과를 좌우할 수 있습니다.

BrokenML 평가에서도 로그와 클러스터 접근 권한을 더 받은 에이전트일수록 작업 복구 성능이 높았습니다. 이번 연구와 함께 보면, 모델의 기본 능력뿐 아니라 작업 절차와 주어진 환경도 결과를 바꿉니다. 다만 두 연구의 평가 결과가 실제 운영 현장의 성능과 같다고 단정할 수는 없습니다.

반가운 점은 개선이 상용 에이전트에만 머물지 않았다는 사실입니다. 보조 절차를 적용한 기본 모델 가운데 최고 수리율은 75.36%로, 최고 에이전트의 78.99%에 가까웠습니다. 기본 모델도 절차를 보완하면 에이전트에 가까운 수리 결과를 낼 수 있다는 점이 흥미롭습니다.

다만 이 수치는 46건의 취약점과 6개 웹 애플리케이션, 4개 프로그래밍 언어를 대상으로 한 실험 결과입니다. 사례마다 격리된 실행 환경과 증명(PoC) 검증, 기능 테스트가 있었지만, 초록에는 실제 운영 환경의 성능을 별도로 검증했다는 설명이 없습니다. 3년 동안 발견되지 않았던 제로데이를 우연히 막은 패치도 나왔지만, 그 사례 하나가 반복 가능한 성공률을 보여주지는 않습니다.

논문에 적힌 보조 절차를 적용할 수 있다면, 테스트용 복제본에서 취약점 하나를 골라 단일 호출 결과와 나란히 비교하십시오. 기능 테스트와 권한 검증용 증명(PoC)을 모두 실행하고, 어느 패치가 정상 기능을 유지하면서 권한 없는 접근을 막는지 기록하십시오. 결과가 다르면 권한 조건을 하나 바꿔 다시 시험해 보십시오.

접근 권한을 확인할 때, 평소 기능 테스트와 권한 검증 중 무엇을 먼저 살펴보십니까?