Globus가 2024년 4월 16일 공개한 글은 과학 분야에서 널리 쓰이는 GridFTP가 대규모 데이터를 빠르고 안전하게 전송하도록 설계된 과정을 돌아본다. 핵심은 데이터를 중계 서버로 보내지 않는 제3자 전송과, 장거리 네트워크에서 전송 속도 저하를 줄이는 병렬 스트림이다.
1990년대 후반 대형 과학 장비와 데이터센터가 서로 멀리 떨어진 곳에 구축되면서 월 여러 페타바이트 규모의 데이터를 옮길 방법이 필요해졌다. ESnet 같은 고속 광역 네트워크가 연구소를 초당 기가비트 속도로 연결했지만, 이를 활용할 소프트웨어가 부족했다.
GridFTP는 전송을 조율하는 프로그램이 데이터를 직접 거치지 않고 송신 시스템과 수신 시스템에 지시하는 제3자 전송을 지원했다. 두 시스템은 조율 프로그램에서 위임받은 자격 증명으로 서로를 인증할 수 있다. 글은 전송 과정에서 데이터가 변조되지 않고 목적지에 원본과 같은 데이터가 도착하는 것도 중요한 보안 요건이라고 설명한다.
기존 FTP의 스트림 모드가 TCP 연결 하나로 데이터를 보내는 것과 달리, GridFTP의 확장 블록 모드(Mode E)는 여러 TCP 연결에 데이터를 나눠 보낸다. 글에 따르면 병렬 스트림은 한 연결에서 혼잡으로 패킷 손실이 발생해도 나머지 연결의 전송은 계속돼 전체 전송량 감소를 줄인다. 네 개의 병렬 스트림 사례에서는 한 스트림의 혼잡이 전체 처리량에 주는 감소가 단일 스트림을 쓸 때의 약 8분의 1이었다.
글은 GridFTP가 TCP를 기반으로 삼아 별도의 운영체제 커널 네트워크 스택 없이 사용할 수 있도록 했다고 설명한다. 이후 CUBIC 같은 혼잡 제어 알고리즘도 적용했으며, Globus 전송 서비스는 이 프로토콜을 바탕으로 안전한 데이터 공유와 다양한 저장 시스템을 위한 통합 인터페이스를 제공한다고 소개한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요