IAS Seminar #01/2026 Training Neural Networks at any Scale – Volkan Cevher
AI4I & IAS – Institute for Advanced Study · 69:56 · Watch on YouTube
볼칸 체버 교수(EPFL)는 깊은 학습의 확장이 단순히 더 많은 계산만은 아니라고 주장합니다. 신경망의 기하학에 맞는 옵티마이저에도 달려 있습니다. Frank-Wolfe 프레임워크에서 스펙트럼 노름 "부호" 업데이트를 통해 가중치 행렬을 평탄화된 벡터가 아닌 행렬로 취급하면 하이퍼파라미터가 모델 크기에 따라 전이됩니다. 그는 Adam에 비해 실제 속도 향상을 보고합니다: 새로운 스피드런...