How LLM Serving Works: An Introduction to vLLM and SGLang

Name: How LLM Serving Works: An Introduction to vLLM and SGLang
Duration: 1 h 48 min 56 s
Description: Обслуживание LLM быстро становится дороже разового обучения: на модели Шридхара 1 млн пользователей и около 10 млрд токенов в день при наивном размещении Llama 3.1 8B на H100 стоят порядка $2 млн в год, а PagedAttenti...

Vizuara · 108:56 · Watch on YouTube

Обслуживание LLM быстро становится дороже разового обучения: на модели Шридхара 1 млн пользователей и около 10 млрд токенов в день при наивном размещении Llama 3.1 8B на H100 стоят порядка $2 млн в год, а PagedAttenti...

Read the full summary on retube