야, 너두 GPU에 LLM 배포할 수 있어: 온프레미스 GPU 기반 k8s 환경의 LLMOps 최적화 여정 | Model & Agent
kakao tech · 25:00 · Watch on YouTube
카카오페이는 vLLM을 이용해 온프레미스 GPU 쿠버네티스에서 GLM-5.2와 같은 오픈웨이트 LLM을 운영한다. 온프레미스는 약 1년 후부터, 그리고 규모가 커지면 클라우드/API보다 저렴해지기 때문이며, 이후 콜드 스타트, 풀링, KV 캐시, 라우팅을 최적화해 시작 시간을 70% 단축하고 2배 이상의 트래픽을 더 낮은 지연시간으로 처리했다.