제프리 헌틀리(Geoffrey Huntley)가 OpenAI의 지역별 추론 용량 부족 오류에 대응하는 실험용 프로토타입 geoclass를 공개했다. Tailscale 네트워크에 세계 여러 지역의 가상 머신을 연결해 용량 오류가 발생한 요청을 다른 지역으로 재시도하도록 설계했다. 헌틀리는 아직 이 방식이 문제를 해결할지는 모른다고 밝혔다.
헌틀리는 유럽에서 OpenAI 추론 성능이 최근 30일 동안 좋지 않았고, 유럽의 사용량이 늘어나는 시간대에 용량 부족 오류가 나타났다고 설명했다. 그는 지역에 따라 추론 용량이 달라질 수 있다고 보고 지리적 라우팅을 시험하기로 했다.
geoclass는 Tailscale 네트워크에 가상 머신을 배치하고 태그를 지정하면 이를 찾아 요청을 다른 추론 지역으로 보내는 방식이다. geoclass를 Underclass에 연결해 사용하도록 안내하지만, 헌틀리는 동작이 이론상 가능하다고 표현하며 실험용 프로토타입임을 명시했다. GitHub 저장소
Underclass는 여러 ChatGPT 구독 계정을 묶어 쓰는 프록시다. 세션을 한 계정에 고정해 프롬프트 캐시를 유지하고, 사용량 한도에 도달한 구독은 한도가 초기화될 때까지 대기시킨다. 헌틀리는 현재 ChatGPT 500 계정 6개를 사용하며, 설정할 수 있는 계정 수에는 실질적인 상한이 없다고 밝혔다. 설치 안내와 Nix Flake도 제공한다. GitHub 저장소
함께 사용할 수 있는 Preflight는 모델에 요청을 보내기 전에 요청과 첨부 파일에서 비밀 정보를 찾아 삭제하거나 가린다. 헌틀리는 Preflight와 Underclass를 각각 실행한 뒤 Underclass가 Preflight를 사용하도록 설정하는 방법을 안내했다. GitHub 저장소
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요