동일한 GPU로 처리량 극대화하기: Kakao AI Platform의 LLM 추론 최적화 | Model & Agent
kakao tech · 17:03 · Watch on YouTube
카카오의 추론 플랫폼 팀은 PD 분리, 프리픽스 라우팅, KV 캐시 오프로딩, 저지 모델 기반 조기 종료의 네 가지 기법으로 간섭과 중복을 줄이고 낭비되는 생성을 제거해 동일한 GPU에서 더 많은 LLM 요청을 처리하는 방법을 보여줍니다.
kakao tech · 17:03 · Watch on YouTube
카카오의 추론 플랫폼 팀은 PD 분리, 프리픽스 라우팅, KV 캐시 오프로딩, 저지 모델 기반 조기 종료의 네 가지 기법으로 간섭과 중복을 줄이고 낭비되는 생성을 제거해 동일한 GPU에서 더 많은 LLM 요청을 처리하는 방법을 보여줍니다.