Logic Archaeologist Pro가 오픈소스 저장소 스캔 결과를 공개했다

Logic Archaeologist Pro 측이 네 저장소 스캔 보고서를 공개했습니다. 대상은 Node.js, Linux 커널, PHP, Python입니다. 비교 대상은 NIST/NSA Juliet C/C++ 테스트 스위트의 105,736개 파일입니다. 제품 측이 내놓은 결과는 안전한 버퍼 연산 오탐(false positive) 73.7% 감소, 표준 메모리 해제 오탐 100% 감소입니다. 저는 100%라는 큰 수치보다, 이 결과가 제품 측 자체 비교라는 점이 먼저 눈에 들어옵니다.

앤스로픽의 OSS Scanner도 신청한 오픈소스 프로젝트에 모델이 만든 취약점 보고서를 제공합니다. 보안 점검 결과를 자동으로 전달하는 두 사례는, 보고서의 양만큼 사람이 근거를 확인할 수 있는지도 중요하다는 점에서 이어집니다.

정확도 숫자만 공개하는 데서 그치지 않고, 네 저장소의 분석 보고서도 함께 열었습니다. Linux 커널 보고서만 200MB입니다. 지목된 코드가 무엇인지 실제 자료로 살펴볼 수 있다는 점은 반갑습니다.

다만 자료에는 독립 검증 결과가 제시되지 않았습니다. Linux 커널 보고서의 항목은 확정된 취약점이 아니라 검토 지점이라고 제품 측이 설명합니다. PHP에는 14,000개, Python에는 176,000개가 넘는 검토 대상 지점이 제시됐습니다. 오탐 감소 수치가 좋아도, 그만큼의 후보를 처리할 사람과 시간은 별도로 들어갑니다.

공개된 PHP나 Python 보고서에서 관심 지점 몇 개를 골라 주변 코드를 확인하십시오. 실제 결함의 근거가 보이는지, 정상 코드도 같은 이유로 표시되는지 적어 두면 오탐 수치와 실제 검토 부담을 함께 가늠할 수 있습니다.

보안 분석 도구를 고르실 때, 오탐 감소 수치와 검토할 항목 수 가운데 무엇을 먼저 살피십니까?