Cloudflare가 데이터 처리 개선으로 하드웨어 증가를 늦췄다

Cloudflare는 2026년 봄부터 가을까지 데이터 파이프라인에 부하 분산, 샘플링, 집계를 적용해 백본에서 초당 약 70GB의 압축 데이터 전송량을 줄였다고 밝혔다. 이 조치로 트래픽 처리량 증가 추세를 기존 예상보다 약 8개월 늦췄으며, 2031년 예상 데이터량도 절반으로 줄였다고 설명했다.

Cloudflare 데이터팀은 전 세계 네트워크에서 중앙 데이터센터로 초당 약 20억 건의 이벤트를 전달한다. 트래픽은 기하급수적으로 늘어나는 반면 하드웨어 증설은 선형적으로 이뤄져, 데이터 처리량을 줄이는 개선이 필요했다. 지난 5년간의 조치가 하드웨어 증설을 2년 반 미룬 것과 같은 효과를 냈다는 게 회사의 설명이다.

개선은 단계적으로 진행됐다. 2022년에는 모든 제품의 필드를 담던 단일 스키마를 제품별 스키마로 나눠 백본 대역폭 사용량을 35~40% 줄였다. 2024년에는 압축 방식을 LZ4에서 zstd로 바꿔 압축 트래픽을 거의 40% 줄였다. 회사는 같은 규모의 네트워크로 1.5배가 넘는 트래픽을 처리할 수 있게 됐다고 밝혔다.

2026년에는 먼저 데이터센터 간 부하 분산 구조를 바꿨다. 이전에는 Logfwdr가 비지역 데이터 이벤트를 중앙 데이터센터 두 곳에 각각 전송했다. 새 구조에서는 이벤트를 한 곳에만 보내고, Buftee에 데이터가 들어간 뒤 원격 삽입기가 다른 데이터센터에 복제한다. 장애가 발생하면 Logfwdr가 살아 있는 데이터센터로 트래픽을 보내며, 데이터센터 간 연결이 끊겨도 각 클러스터는 자체 데이터를 계속 처리하고 연결 복구 뒤 Buftee의 보관 데이터를 따라잡는다.

이 변경은 이전 구조에서 두 번 보내던 원시 데이터를 한 번만 전송하고, 샘플링을 거친 뒤 복제하도록 했다. Cloudflare는 이전에 비해 압축된 광역망 트래픽이 초당 약 43GB 줄고, 데이터센터 간 복제로 약 7GB가 추가돼 순감소량은 초당 36GB였다고 밝혔다. HTTP 분석 데이터에서는 초당 약 20GB, 50% 넘게 줄었고 Ready-Analytics에서는 약 28GB에서 16GB로 43% 감소했다.

Logfwdr 단계에서 샘플링을 추가해 중앙 수신기에 도달하기 전에 데이터를 줄이는 방식도 적용했다. 각 데이터셋의 키를 기준으로 레코드를 섞어 편향을 줄인 뒤, 그룹별 전체 레코드 수의 제곱근만큼 표본을 뽑는다. Cloudflare는 표본 비율을 반영해 추정치를 보정하면 한 번 샘플링하든 두 번 샘플링하든 같은 추정값을 얻을 수 있다고 설명했다.

세 개의 주요 데이터셋에 이중 샘플링을 적용한 결과, 중앙 수신기로 보내는 압축 데이터가 모두 최소 절반 줄었다. 합계로 초당 25GB, 하루 2PB가 넘는 양이다. 예를 들어 총 1,160만 건의 이벤트를 ClickHouse에 7만9,000행 대신 1만8,000행으로 저장하면서도 대표 표본을 유지했다고 밝혔다.

집계는 샘플링과 달리 미리 정한 질문에 정확히 답하는 대신, 원시 이벤트를 집계값으로 바꿔 전달량을 줄인다. Cloudflare는 기존에 파이프라인 후반부에서 하던 집계를 Logfwdr, 중앙 수신기, 버퍼와 ClickHouse 삽입기 단계로 분산했다. HTTP 트래픽 데이터셋에서는 압축 전송량이 초당 9GB 이상에서 2GB 미만으로 줄었다. 회사는 집계 기반 분석 제품 Ready-Aggregates도 만들었다.

Cloudflare에 따르면 Ready-Analytics에서는 부하 분산과 샘플링으로 수신기의 CPU와 메모리 사용량이 약 50% 감소해 CPU 약 750개와 메모리 3.5TiB를 절약했다. 부하 분산은 초당 약 38GB, 주요 데이터셋의 샘플링은 25GB, 집계는 현재까지 7GB 이상을 줄였다. 각 수치는 적용 대상과 시점이 달라 전체 효과를 단순 합산한 값과는 구분된다.

회사는 이 같은 개선으로 중앙 데이터센터의 처리 부담과 하드웨어 수요를 낮췄다고 밝혔다. 트래픽 증가 속도가 빠르기 때문에 감축으로 확보한 여유 용량도 시간이 지나며 다시 소진될 수 있다는 점을 Ready-Analytics 사례로 설명했다. 부하 분산으로 줄어든 트래픽은 두 달 만에 일부 회복됐고, 이후 샘플링을 적용해 처리량을 다시 초당 약 8GB로 낮췄다.