LakehouseBox는 공개 Apache Iceberg 카탈로그와 파일을 CDN으로 제공해, 사용자가 계정이나 인증 키 없이 DuckDB에서 공개 데이터를 연결하고 질의할 수 있게 했다. 제작사인 LakehouseBox는 자체 저장소에서 직접 읽을 때보다 여러 지역에서 질의가 빨라졌다고 밝혔지만, 첫 요청은 CDN이 원본에서 파일을 가져와 더 느릴 수 있다.
Iceberg 카탈로그는 commons/pubdata처럼 이름으로 연결할 수 있다. LakehouseBox가 관리하는 공개 카탈로그에는 날씨, 장소, 경계, 공휴일, 대기질 등 18개 데이터셋이 있으며, 다른 기관의 공개 카탈로그도 <handle>/<catalog> 형식으로 연결할 수 있다. DuckDB에서 카탈로그와 필요한 확장 기능을 불러온 뒤 SQL로 조회하면 된다.
LakehouseBox는 2026년 10월 18일 DuckDB를 새 프로세스로 실행해 5개 지역에서 8개 질의를 비교했다. 730만 행의 장소 데이터에서 약국을 세는 질의는 뉘른베르크 저장소에 직접 연결했을 때 시드니에서 중앙값 221.28초, CDN 경유 시 5.96초였다. 여덟 질의의 기하평균 속도 향상은 프랑크푸르트 1.3배, 마드리드 3.5배, 미국 동부 4.7배, 싱가포르 9.4배, 시드니 11.0배였다. 측정은 각 경로와 질의마다 다섯 차례 수행했으며, 실행 순서를 번갈아 배치하고 2~5회차의 중앙값을 사용했다. 모든 경로에서 각 기기는 같은 행을 반환했다고 업체는 설명했다.
이 구조가 가능한 이유는 Iceberg가 기존 파일을 덮어쓰지 않기 때문이다. 변경 사항은 새 데이터 파일과 메타데이터 파일로 기록되며, CDN은 파일을 최대 1년 동안 보관할 수 있다. 반면 현재 버전을 가리키는 카탈로그 응답은 1분 미만으로 캐시해 새 커밋을 반영한다. 다만 CDN 위치에서 파일을 처음 요청하면 원본인 뉘른베르크에서 가져와야 한다. 460MB 공간 질의는 시드니에서 첫 실행 때 CDN 경유 81초, 직접 연결 24초였고, 이후 실행에서는 5.3~7.7초가 걸렸다.
LakehouseBox는 공개 카탈로그의 읽기 전송료를 부과하지 않으며, 공개 카탈로그에는 현재 기본 5GB의 무료 저장 공간을 제공하고 검토를 거친 데이터셋은 최대 50GB까지 이용할 수 있다고 밝혔다. 저장 비용은 이용자 수나 읽기 횟수가 아니라 저장량에 따라 달라진다는 설명이다. 공개 카탈로그는 매일 또는 매시간 갱신할 수 있고, 테이블 압축과 스냅샷 만료 같은 유지 관리도 백그라운드에서 처리한다고 업체는 덧붙였다.
이용하려면 DuckDB 1.5.5 이상이 필요하다. LakehouseBox는 DuckDB에서의 연결을 시험했으며, 다른 Iceberg REST 클라이언트도 같은 방식으로 연결할 수 있다고 안내한다. 자세한 내용은 공개 카탈로그 가이드에서 확인할 수 있다.
다만 상용 데이터 분석 서비스의 지원은 제한적이다. LakehouseBox에 따르면 BigQuery와 Databricks는 임의의 인터넷 카탈로그가 아니라 연동된 카탈로그를 통해서만 Iceberg를 읽는다. Snowflake는 외부 Iceberg 카탈로그를 연결할 수 있지만, 계정에서 해당 저장소 엔드포인트를 허용하도록 지원팀의 승인을 받아야 한다. 표가 아닌 클라우드 최적화 GeoTIFF와 PMTiles는 현재 CDN이 아니라 뉘른베르크 저장소에서 제공하며, CDN 지원은 향후 계획이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요