Scaling Agentic Inference Across Heterogeneous Compute [Zain Asgar] - 757
The TWIML AI Podcast with Sam Charrington · 47:44 · Watch on YouTube
Gimlet Labs CEO인 Zain Asgar는 AI 추론, 특히 에이전트 워크로드가 최고급 B200s에서 실행되는 것이 아니라 혼합 하드웨어(Nvidia, AMD, Intel 같은 다양한 GPU 세대 및 공급업체와 CPU)에 분산될 때 훨씬 더 저렴하고 빠르다고 주장합니다. 그는 가장 큰 이득이 커널 트릭이 아니라 오케스트레이션과 하드웨어에 작업을 긴밀하게 패킹하는 것에서 나온다고...