TL;DR

  • 클라우드 데이터 시스템의 기본인 Amazon S3는 디스크 기반 설계의 한계가 SSD와 고속 네트워크의 발전으로 퇴색하면서 차세대 범용 스토리지 기반으로는 시대에 뒤처짐.
  • S3는 사실상 무한한 용량, 높은 내구성, 낮은 기가바이트당 비용과 대규모 객체 처리 성능을 제공해 현대 클라우드 아키텍처의 토대가 됨.
  • 디스크의 수십 밀리초 지연과 요청당 낮은 처리량은 캐싱, 쓰기 일괄 처리, 별도 메타데이터 저장소, 객체 전체 재작성 같은 우회 설계를 요구함.
  • SSD와 데이터센터 네트워크는 마이크로초 단위 지연과 높은 무작위 입출력 성능을 제공해 이러한 우회책을 줄이거나 없앨 가능성이 있음.
  • S3 Express One Zone은 내구성·가용성·가격·지연 시간 측면의 한계로 범용 대안이 되기 어렵고, 전환의 장애물은 기술보다 클라우드 제공자의 관성과 기존 사업 모델임.

S3가 클라우드 아키텍처의 기반이 된 이유

  • Amazon S3와 다른 클라우드의 유사 서비스는 현대 클라우드 소프트웨어 아키텍처의 기반이며, 오늘날 데이터 집약적 시스템 대부분이 S3 중심으로 구축됨.
  • S3는 사실상 무한한 용량, 높은 내구성, 낮은 기가바이트당 저장 비용을 제공하며, 대형 객체와 병렬 접근에서 높은 총 대역폭을 제공함.
  • 공유되고 내구성 있는 네임스페이스를 제공해 컴퓨팅을 대부분 무상태로 유지할 수 있음.
  • 개방형 데이터 레이크 스택인 Iceberg + Parquet + S3는 클라우드 분석의 기반이며, Warpstream은 S3 위에서 Kafka를 구현하고 Turbopuffer는 S3를 활용해 벡터 저장소를 구축함.
  • S3는 기록 시스템, 장기 저장소, 백업 대상, 일반적인 단일 진실 공급원 역할을 맡으며, 새로운 데이터 시스템의 기본 구조는 S3에 데이터를 두고 그 위에서 무상태 컴퓨팅을 실행하는 방식임.

디스크 기반 S3가 요구하는 우회 설계

  • S3는 HTTP API 뒤에 놓인 백만 개의 하드 디스크라는 의미에서 볼 수 있으며, 개별 요청 처리량은 초당 100MB 미만이고 지연 시간은 수십 밀리초 단위임 1.
  • 이러한 특성은 디스크의 물리적 한계에서 비롯되며, S3 위에 구축되는 모든 시스템에 아키텍처 비용을 부과함.
  • 지연 시간을 감추기 위한 캐싱 계층, 요청당 오버헤드를 분산하기 위한 소규모 쓰기의 대형 객체 일괄화가 필요함.
  • S3는 소규모 무작위 조회를 효율적으로 처리할 수 없어 DynamoDB나 FoundationDB 같은 별도 메타데이터 저장소가 필요함.
  • 레코드를 제자리에서 갱신할 수 없어 객체 전체를 다시 써야 하며, 따라서 진지한 S3 기반 소프트웨어 설계는 일부라도 S3의 한계를 우회하는 시스템임.

SSD와 네트워크의 성능 변화

  • S3는 20년 전에 출시됐으며, 그 뒤 SSD 가격은 꾸준히 하락해 SSD와 디스크의 가격 차이는 대략 3배까지 좁혀짐 [2](가격 관련 참고 사항), 3.
  • 2026년 초 AI 열풍으로 SSD, DRAM, 디스크 가격이 네 배로 상승했지만, 가격 상승은 대체로 동시에 발생함.
  • SSD는 약 100마이크로초의 접근 지연 시간으로 S3보다 두 자릿수 배 빠르고, 장치당 초당 수백만 건의 입출력 작업과 4KB 단위의 소규모 무작위 읽기·쓰기를 지원함.
  • 데이터센터 네트워크도 발전해 100Gbit/s 이상의 연결은 데이터센터 안에서 100마이크로초 미만, 같은 지역의 서로 다른 데이터센터 사이에서 1밀리초 미만의 지연 시간을 제공함.
  • 데이터센터급 네트워크와 결합된 SSD 기반 분리형 스토리지는 S3 중심 설계의 여러 제약과 우회책을 없앨 가능성이 있음.
  • 스토리지가 마이크로초 단위로 응답하면 캐싱은 선택 사항이 됨.
  • 소규모 무작위 접근 비용이 낮으면 쓰기 일괄 처리가 필수 조건이 아니게 됨.
  • 제자리 갱신이 가능하면 압축과 재구성이 불필요해짐.
  • 스토리지가 두 접근 패턴을 모두 효율적으로 처리하면 메타데이터와 데이터 저장소를 하나의 시스템으로 통합할 수 있음.

S3 Express One Zone의 한계

  • Amazon의 SSD 기반 서비스인 S3 Express One Zone은 2023년 출시됐으며, 단일 가용 영역으로 제한돼 S3를 프로덕션 데이터의 기본 선택지로 만드는 내구성과 가용성 보장을 포기함.
  • 이처럼 상당한 보장을 포기하면서도 지연 시간은 여전히 수 밀리초로, 현대 SSD와 네트워크가 낼 수 있는 성능에 크게 못 미침.
  • 기가바이트당 저장 비용은 표준 S3보다 상당히 높고, 대역폭 요금도 높아 저지연 스토리지의 가치를 키울 고처리량 접근 패턴을 억제함.
  • 그 결과 S3 Express One Zone은 차세대 데이터 시스템의 기반이 아니라 제한된 사용 사례를 위한 틈새 제품임.

전환의 장애물은 기술이 아니라 관성

  • S3를 범용 대체할 만큼의 내구성, 용량, 가격 특성을 갖춘 진정한 SSD 기반 분리형 스토리지 서비스를 구축하는 데 근본적인 기술 장벽은 없음.
  • 빠른 SSD와 빠른 네트워크는 이미 존재하지만, 주도적으로 나설 동력이 부족함.
  • 클라우드 제공자는 방대한 하드 디스크와 현행 가격 모델에 기반한 막대한 수익을 보유해 어느 쪽도 잠식할 유인이 거의 없음.
  • 따라서 장애물은 기술이 아니라 관성임.

직접 구축해야 할 인프라 기본 요소

  • S3 기반 아키텍처가 업계 표준이 되는 시점에, 그 아키텍처를 낳은 하드웨어 제약은 사라지고 있음.
  • SSD 기반 스토리지에는 없는 한계를 우회하려고 만들어진 아키텍처 패턴을 업계 표준으로 굳히고 있음.
  • 클라우드 제공자는 자신에게 유리한 모델을 흔들 유인이 없으므로, 이 전환을 주도하기를 기다리기보다 필요한 인프라 기본 요소를 직접 구축해야 함.