Smarter models won't fix your system design | Abi Aryan on LLM inference
The Production Gap · 55:45 · Watch on YouTube
비디오는 추론/GPU 엔지니어링 전문가("Abby")와의 심층 인터뷰로, 자체 호스팅 GPU에서 LLM 시스템을 실제로 확장하는 방법을 다룹니다. 핵심 주장은 GPU 계층의 문제로 비난받는 대부분의 실패가 사실은 그 위 계층(게이트웨이, 라우터, 제어 평면, 시스템 설계)에서 비롯된다는 것, 그리고 소프트웨어는 실리콘의 물리적 한계 위에 쓰인 추상화일 뿐이므로 더 큰 모델이나 더 많은...