How GPT, Claude, and Gemini are actually trained and served – Reiner Pope
Dwarkesh Patel · 133:41 · Watch on YouTube
Reiner Pope (MatX 칩 스타트업의 CEO, Google의 전 TPU 아키텍트)는 칠판을 이용해 몇 가지 하드웨어 비율이 최첨단 AI를 어떻게 형성하는지 설명합니다: 메모리 대역폭, 컴퓨팅(FLOP), 메모리 용량 및 상호 연결 크기. 대부분의 동작은 배치 크기에서 비롯됩니다. 배치가 클수록 가중치 로딩 비용을 더 많은 사용자에게 분산시킵니다. 이것이 지연시간과 비용이 트레이...