행렬 곱셈 튜토리얼이 캐시 최적화 과정을 설명한다

2014년 행렬 곱셈 튜토리얼에서 출발한 ulmBLAS는 캐시(cache)를 활용합니다. 단일 명령어 다중 데이터(SIMD) 레지스터 명령어도 씁니다. 최근 시작한 CUDA 튜토리얼은 글이 많지 않지만, 단순한 구현에서 성능을 높이는 과정을 제시합니다. 저는 빠른 코드만 내놓기보다, 무엇을 바꾸면 빨라지는지 순서대로 보여주는 점이 반갑습니다.

RTX 3090용 단정밀도 일반 행렬 곱셈(SGEMM) 구현은 동작 주파수에 따라 cuBLAS보다 빨라질 수 있습니다. 전력 소비와 속도 저하도 함께 다룹니다. 이 튜토리얼의 최적화 과정과 나란히 보면, 구현 단계뿐 아니라 실제 성능을 재는 조건도 눈에 들어옵니다.

처음의 세 겹 반복문에서 출발해 행렬 일부를 임시 저장 공간(buffer)에 옮기고 묶음 단위로 계산하는 방식까지 이어집니다. 빠른 답만 제시하는 대신, 데이터를 재사용하며 계산을 바꾸는 과정을 따라갈 수 있습니다.

복사에는 O(N²), 곱셈에는 O(N³)의 비용이 듭니다. 복사 비용이 더 낮다고 자동으로 빨라지는 것은 아니며, 옮겨 온 값을 다시 써 실제 계산 시간을 줄여야 이득입니다. CUDA 튜토리얼은 cuBLAS와 대등한 성능을 목표로 삼지만, 지금 공개된 내용은 접근법의 개요라 그 목표를 이룬 수치는 확인할 수 없습니다.

간단한 행렬 곱셈 코드에서 같은 입력의 실행 시간과 결과를 기록한 뒤, 묶음 단위로 계산하도록 바꾸어 다시 재 보십시오. 실행 시간이 줄고 결과가 같으면 데이터 재사용의 이득을 확인한 것입니다. 시간이 줄지 않으면 묶음 크기를 바꿔 시험해 보십시오.

행렬 계산을 최적화하실 때, 기준 시간을 먼저 재는 일과 묶음 재사용을 먼저 적용하는 일 가운데 무엇부터 하시겠습니까?