원문 캡처 · cloud.google.com
원문 캡처 · cloud.google.com

구글 클라우드와 오라클은 2027년부터 구글 텐서 처리 장치(TPU)를 오라클 클라우드 인프라(OCI)에 배치한다. 구글 외 하이퍼스케일러 가운데 TPU를 제공하는 곳은 OCI가 처음이라고 양사는 밝혔다.

OCI에서 TPU와 GPU를 함께 제공하면 기업은 비용과 성능에 따라 AI 작업 단계별로 가속기를 선택할 수 있다. 오라클 데이터베이스와 가까운 곳에서 미세 조정과 추론을 실행할 수 있어 클라우드 간 데이터 전송 비용을 피할 수 있다는 점도 양사가 내세운다.

구글은 TPU의 칩 간 연결과 광 회선 교환 기술이 대규모 학습 작업에서 생산적 연산에 쓰이는 시간의 비율인 굿풋을 97% 이상으로 유지한다고 설명했다. 최신 세대 TPU는 낮은 지연 시간의 추론에서 달러당 성능을 최대 80% 높인다고도 밝혔다. 이 수치는 구글이 제시한 설명이며, 발표 자료는 OCI 도입 환경에서의 별도 성능 측정 결과를 제시하지 않았다.

구글과 오라클은 OCI의 액체 냉각 데이터센터, 오라클 액셀러론(Oracle Acceleron) 네트워크, 기업 데이터와의 근접성을 TPU 도입의 이점으로 꼽았다. 구글 TPU 소프트웨어 생태계도 넓히고 있다. 구글은 PyTorch용 TPU 소프트웨어 스택 TorchTPU를 오픈소스로 공개했으며, vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, LiteRT 등의 도구를 사용할 수 있다고 밝혔다. 관련 발표는 PyTorch Conference 소식에서 확인할 수 있다.