Jongryool Kim - Disaggregated LLM Serving with Shared Memory KV Cache at Rack Scale
Berkeley RDI · 4:30 · Watch on YouTube
SK Hynix의 Jung Wook Kim은 여러 서버가 공유하는 물리적으로 분리된 메모리 풀이 LLM 서빙 속도를 높일 수 있다고 주장합니다. SK Hynix의 데모에서 풀은 KV 캐시를 보유하므로 prefill과 decode 노드가 캐시를 교환하고 재사용할 수 있습니다. 이는 캐시 재계산, 서버별 DRAM 캐싱, 그리고 Mooncake와 같은 RDMA 기반 KV 캐시 시스템을 능가한...