Nvidia Blackwell's Secret
0:00 · Watch on YouTube
이 비디오는 기대하던 분할(훈련용 대규모 범용 GPU와 추론용 저렴한 특화 ASIC)이 역전되었다고 주장합니다. 희소 Mixture-of-Experts(MoE) 모델은 토큰당 실행 비용이 더 저렴하지만, 모든 전문가가 메모리에 상주해야 하므로 추론에는 이제 엄청난 양의 HBM, 빠른 상호연결, FP4 같은 저정밀도 형식이 필요합니다. 이는 NVIDIA 스타일 시스템(그리고 Google의...