GPU와 HBM 분리로 메모리 늘리는 방안이 논의된다

GPU와 고대역폭 메모리(HBM)를 분리해 패키징하는 방안이 논의됩니다. AI 작업의 메모리 용량과 대역폭 수요가 커지면서, 두 부품을 광링크(optical link)로 잇는 구상입니다. 한국의 한 주요 메모리 제조사 연구자는 메모리·패키징 업체들이 이 방식을 논의 중이라고 밝혔습니다. 기존 설계보다 GPU가 몇 배 많은 HBM을 지원할 수 있다는 전망도 나옵니다. 저는 그 숫자보다 메모리를 늘리려고 부품 배치까지 바꾸려는 발상이 오래 남습니다.

가속기 메모리가 제한된 환경에서 HBF와 HBM을 함께 활용하는 구상도 있습니다. 이번 방안은 HBM을 GPU와 다른 패키지에 두고 광연결을 검토해, AI 메모리 확장을 부품 배치의 문제로 넓힙니다.

기존에는 HBM을 더 높이 쌓아 용량을 늘렸지만, 20단 이상으로 갈수록 제조 복잡성과 물리적 제약이 커집니다. GPU 주변 공간을 더 쓰거나 보드 아래에 HBM을 두는 배치도 함께 거론됩니다. 메모리 증설을 칩의 적층에만 맡기지 않고 보드 배치까지 넓히려는 점이 흥미롭습니다.

분리하면 두 부품 사이 거리가 늘어날 수 있어, 광링크로 이를 보완하는 방안이 검토됩니다. 대규모 시스템용 광자 기술(photonic technology)을 보드나 칩에 들어갈 만큼 작고 집적도 높게 만드는 일이 과제입니다. 또 GPU 보드 아래에 HBM을 두려면 메인보드를 수직으로 확장해야 하므로, 서버 구조까지 바꾸는 선택이 됩니다. 저는 용량 확대가 메모리 부품만의 문제가 아니게 된다는 점이 크게 다가옵니다.

오늘 자주 쓰는 AI 작업 하나를 골라 GPU 메모리 사용량과 메모리 대역폭을 함께 확인하십시오. 용량이 먼저 차면 HBM 확대가 우선이고, 대역폭이 먼저 한계에 닿으면 광링크의 실제 성능이 중요하다는 뜻입니다. 작업 하나에서 어느 쪽이 먼저 막히는지 살펴보십시오.

GPU 서버를 검토하실 때, HBM 용량과 광링크 성능 가운데 무엇부터 확인하시겠습니까?