Reiner Pope of MatX on accelerating AI with transformer-optimized chips
Stripe · 73:17 · Watch on YouTube
Reiner Pope, MatX CEO이자 Google의 전 TPU 아키텍처는 스타트업이 기존 기업보다 더 나은 LLM 칩을 만들 수 있다고 주장합니다. 그의 칩은 낮은 지연시간을 위해 모델 가중치를 보유하는 SRAM과 높은 처리량을 위해 추론 상태를 보유하는 HBM을 결합합니다. 또한 여러 조각으로 분할할 수 있는 매우 큰 하나의 systolic array와 사내 ML 연구팀이 조정한...