How LLM Serving Actually Works
Jia-Bin Huang · 41:42 · Watch on YouTube
최신 LLM 서버는 더 빠른 모델이 아니라 GPU를 절대 유휴 상태로 두지 않고, KV 캐시 메모리를 낭비하지 않으며, 동일한 prefix를 두 번 다시 계산하지 않음으로써 2-6배 더 높은 처리량을 달성하며, 이를 위해 continuous batching, prefix caching이 적용된 paged attention, 그리고 다중 GPU 병렬 처리와 고속 커널을 사용한다.