EXL은 기업용 AI를 안정적이고 경제적으로 운영하려면 모델 선택만큼 모델 주변의 서빙 시스템 설계가 중요하다고 주장한다. 업무 특성에 맞춰 지연 시간, 동시 요청 수, 메모리 사용량, GPU 활용률과 인프라 비용을 고려해야 한다는 내용이다.

EXL은 고객 응대처럼 빠른 응답이 필요한 서비스와 밤새 실행할 수 있는 문서 처리 작업은 요구 조건이 다르다고 설명한다. 개념 검증 단계에서는 정확도가 주목받지만, 실제 운영에서는 트래픽 변동과 비용 같은 제약도 고려해야 한다. 업무에 필요하지 않은 성능을 위해 추론 비용을 더 지불하는 것이 항상 나은 선택은 아니라는 주장이다.

서빙 구조와 메모리 관리, 동시성, 배치 처리와 스케줄링은 서로 영향을 준다. EXL은 추론 중 모델 가중치는 고정돼 있지만, 활성 요청 수와 문맥 길이에 따라 키-값(KV) 캐시가 커질 수 있다고 설명한다. 이 때문에 연산 능력이 남아 있어도 GPU 메모리가 부족해질 수 있으며, 병목을 확인하지 않은 채 연산 자원을 늘리면 비효율적인 시스템의 비용만 커질 수 있다고 덧붙인다.

EXL이 제안하는 접근은 먼저 측정해 가장 큰 제약을 찾고, 이를 개선한 뒤 결과를 다시 측정하는 것이다. 양자화나 추측 디코딩 같은 최적화 기법을 모두 적용하기보다, 업무 요구를 지키면서 영향이 큰 병목을 해소하는 데 초점을 맞춰야 한다는 설명이다. 또한 모델과 하드웨어가 바뀌어도 플랫폼을 매번 다시 설계하지 않도록, 업무 요구와 서비스 수준 목표, 운영 비용을 기준으로 변경을 수용할 수 있는 구조를 권한다.

EXL은 관련 내용을 EXL Engineering the Harness 시리즈와 메모리 관리 백서에서 다룬다고 밝혔다. 이 글은 EXL이 제작했으며 MIT Technology Review 편집진이 작성하지 않았다.