AI 인프라 비용을 계획할 때 GPU와 연산에만 집중하면 추론 과정에서 계속 쌓이는 저장 비용을 놓칠 수 있다. WD가 후원한 자료는 AI 데이터의 보관 기간과 재사용까지 고려해 인프라 예산을 짜야 한다고 주장한다.

모델 학습은 시작과 끝이 있는 작업이지만, 추론은 모델이 요청에 답할 때마다 계속 실행된다. WD의 내부 측정에 따르면 사용자에게 720p, 3.97MB 파일로 전달된 8초 길이의 AI 생성 영상은 로그, 캐시된 문맥, 렌더링 결과, 백업, 안전 기록 등을 포함해 백엔드에 500MB가 넘는 데이터를 남겼다. 이는 사용자에게 보이는 결과물보다 130배 이상 큰 규모다. 기업이 더 길고 해상도가 높은 영상을 만들면 클립당 백엔드 데이터가 수백 기가바이트에 이를 수 있다고 WD는 설명한다.

맥킨지는 AI 추론 수요가 2030년까지 연평균 35% 성장할 것으로 전망했다. 학습 수요의 성장률 전망치인 22%보다 높으며, 10년 말에는 추론이 전체 데이터센터 수요의 40% 이상을 차지할 것으로 내다봤다. WD가 후원한 IDC의 글로벌 백서 설문은 IT·사업 의사결정자 763명을 대상으로 했다. 응답자의 거의 95%가 지난 12개월 동안 생성형 AI로 데이터량이 늘었다고 답했고, 약 61%는 증가 폭이 25% 이상이라고 답했다.

설문에 인용된 하이퍼스케일 클라우드 서비스 제공업체의 수석 제품 관리자는 저장 공간을 늘리는 일을 GPU를 계속 가동하기 위한 최적화로 볼 수 있다고 말했다. 데이터가 준비될 때까지 GPU가 기다리면 유휴 시간이 비용을 빠르게 키운다는 설명이다.

연산 수요가 학습 주기나 제품 출시에 따라 오르내려도 보관 데이터는 줄어들지 않을 수 있다. 모델 로그와 합성 데이터, 추론 결과가 계속 쌓이고, 과거에는 거의 꺼내 쓰지 않던 아카이브도 검색 증강 생성(RAG)이나 추론에 다시 활용될 수 있다. WD-IDC 설문 응답자의 96%는 추론이나 RAG를 지원하기 위해 아카이브 데이터를 더 빠르게 검색할 필요가 있다고 예상했다. WD는 보관하고 다시 살펴볼 대량의 데이터에 HDD가 높은 용량과 테라바이트당 비용 측면의 이점을 제공한다고 설명한다.

WD는 AI 예산을 연산 비용에만 한정하지 말고 데이터 수명 주기 전체를 고려해야 한다고 주장한다. 영상 생성이나 보험 청구 문서 처리처럼 작업이 끝난 뒤에도 백엔드 데이터가 남으면 저장 비용은 누적된다. 저장 비용을 사소한 항목으로 취급한 조직은 12~18개월 뒤 이를 프로그램 전체 비용에서 상당한 비중으로 마주할 수 있다고 자료는 지적한다.

WD는 용량과 성능, 전력, 신뢰성, 총소유비용을 함께 고려하는 저장 계층을 갖추고, 데이터가 재사용될 가능성에 맞춰 보존 정책을 정해야 한다고 제안한다. 조직이 점검할 질문으로는 AI 생성 콘텐츠의 보존 정책과 결정 주체, 저장장치 조달 기준이 학습 성능인지 실제 데이터 수명 주기인지, AI 사용량이 두 배로 늘 때 저장 비용도 두 배 또는 그 이상으로 증가하는지를 들었다.

이 자료는 WD가 제작했으며 MIT Technology Review 편집진이 작성한 기사가 아니다.