What Actually Happens When You Send an LLM Request to Kubernetes?
Ethereum Foundation · 5:35 · Watch on YouTube
CLD9 AI의 인프라/AI 엔지니어이자 Google Summer of Code 멘토(Open Science Lab), OpenTelemetry/CNCF 기여자인 Atharva는 Kubernetes에서 실행되는 LLM으로의 요청 경로에서 실제로 무슨 일이 일어나는지를 핵심 질문으로 제시합니다. 그는 먼저 청중에게 자신의 인프라에 오픈 웨이트 모델을 배포해 본 사람이 있는지 물으며 분위기...