Algeon으로 SQL에서 GPU 알고리즘을 조합한다

Algeon은 GPU 알고리즘을 SQL 한 문장으로 실행합니다. 그래프·벡터 검색(vector search)과 머신러닝(machine learning)을 지원합니다. Apache DataFusion 기반 GPU 질의 엔진(query engine)으로 Parquet 데이터를 읽습니다. 입력 선택부터 알고리즘 실행, 결과 조인(join)과 집계(aggregation)까지 SQL 한 문장에 담깁니다. 저는 도구마다 나누던 분석을 한 쿼리로 잇는 점이 반갑지만, 처리 규모까지 무제한은 아닙니다.

GPU 메모리의 부담을 다룬다는 점에서 Engram과 이어집니다. Engram은 모델 지식을 GPU 밖으로 옮겨 메모리 부담을 낮추려 합니다. Algeon은 지원되는 SQL 연산의 중간 결과를 GPU 메모리에 둡니다. 추론과 분석은 다른 작업이지만, GPU 메모리가 설계 선택을 좌우하는 장면은 같습니다.

반가운 변화는 알고리즘 계산과 SQL의 조인·집계를 따로 떼지 않고 같은 쿼리 안에서 이어 갈 수 있다는 점입니다. 예제는 BERT 논문의 직접 인용을 빼고 관련 연구를 찾습니다. 4,560만 건의 인용 관계에 개인화 페이지랭크(personalized PageRank)를 적용하고 점수를 논문 제목과 조인합니다.

Linux와 지원되는 NVIDIA GPU가 필요하며, 지원되는 실행 계획 조각만 GPU에서 처리하고 나머지는 CPU 경로로 갑니다. 입력과 중간 결과, 알고리즘 임시 공간이 모두 한 GPU 메모리를 쓰므로 한 GPU의 용량을 넘는 작업은 지원 범위 밖입니다. 실험 단계라 API와 쿼리 동작은 호환성을 깨는 방식으로 바뀔 수 있으며, 결과는 신뢰할 기준 결과와 대조해야 합니다.

제공된 SQL 예제를 작은 Parquet 표본에 실행하고, 결과를 신뢰할 기준값과 먼저 비교해 보십시오. 이어 입력 크기를 단계적으로 늘려 GPU 메모리 한계에 닿는 시점을 살피십시오. 기준 결과와 다르거나 메모리가 빠듯해지는 지점이 보이면 실제 데이터에 적용하기 전에 규모와 결과를 다시 확인하십시오.

마지막으로 새 분석 도구의 결과를 기존 기준값과 대조하셨을 때, 무엇부터 확인하셨습니까?