Scalable MatMul-free Language Modeling (Paper Explained)
Yannic Kilcher · 49:45 · Watch on YouTube
"확장 가능한 MatMul 없는 언어 모델링(Scalable MatMul-free Language Modeling)" 논문은 대규모 언어 모델에서 모든 행렬 곱셈을 제거합니다. 조밀한 층은 삼진(−1/0/+1) 누적이 되고, 주의는 선형화되고 병렬화 가능한 재귀 단위가 됩니다. 해당 스케일링 법칙 곡선은 약 10²³ FLOPs에서 표준 Transformer를 능가할 수 있음을 시사합니다...