Inference at Scale: Building the Infrastructure for AI’s Next Phase
Grace Gong · 18:31 · Watch on YouTube
확장 가능한 추론은 단순히 원시 처리량만의 문제가 아니다: 음성 에이전트와 실시간 비디오 모델의 경우 지연 시간, 꼬리 지연(tail) 동작, KV 캐시 메모리 이동, 특수 하드웨어, 에너지, 그리고 사용자와의 근접성이 모두 핵심 제약 조건이 된다 — 그리고 이 패널의 투자자들과 창업자들은 이 분야가 여전히 과소 투자되고 있다는 데 동의한다. 두 명의 창업자(헬스케어 음성 AI 기업과...