GB200 메모리 대역폭은 데이터 배치에 따라 10배 넘게 달라진다

블랙웰(Grace-Blackwell) 시스템은 주소를 공유해도 실제 메모리 속도가 같지 않습니다. 연구진은 GB200에서 데이터 위치와 접근 이력을 통제해 이 차이를 측정했습니다. 저는 ‘통합 메모리’라는 말이 속도까지 하나로 보이게 하는 점이 특히 눈에 남습니다. GPU 로컬 메모리는 3963GB/s였고, CPU·시스템 메모리에 매핑된 데이터는 304GB/s였습니다.

DGX Spark의 GB10은 CPU와 GPU가 메모리를 공유하며, 사용 가능한 램(RAM)을 시스템 몫과 GPU 작업 몫으로 나눠 씁니다. 이번 연구는 GB10과 DGX Spark에서도 측정 결과를 확인했습니다. 따라서 메모리 용량 배분에 더해, 데이터 위치와 재사용이 성능에 미치는 영향도 보여줍니다.

반가운 대목은 대역폭(bandwidth)을 조건별로 나눠 공개했다는 점입니다. 256MB 데이터에서 CPU가 초기화한 관리형 메모리(managed memory)를 처음 읽을 때는 14.1GB/s였습니다. 미리 GPU로 옮긴 뒤에는 4606GB/s였습니다.

다만 이 값은 256MB 스트리밍 측정치라 모든 프로그램에서 그대로 나오지는 않습니다. 용량 한계 안에서는 사전 이동과 재사용 대역폭이 4.6TB/s를 넘었습니다. CUDA가 쓸 수 있는 메모리의 125%를 요구하면, 두 경우는 각각 968GB/s와 1214GB/s로 내려갔습니다. 최고 수치만으로 시스템 속도를 잡으면 실제 비용을 놓치기 쉽습니다.

GB200이나 GB10에서 작업하신다면 같은 데이터로 GPU의 첫 읽기와 미리 옮긴 뒤 읽기, 재사용한 뒤 읽기를 따로 재 보십시오. 이어 데이터 총량을 CUDA가 쓸 수 있는 메모리 용량 안쪽과 125%로 바꿔 비교하십시오. 그 결과로 병목이 초기 배치인지 용량 압박인지 가늠할 수 있습니다.

새 작업을 시작할 때 데이터 위치와 용량 압박 가운데 무엇부터 확인하시겠습니까?