Beyond Softmax — Linear Attention
Jia-Bin Huang · 34:31 · Watch on YouTube
선형 어텐션은 어텐션에서 소프트맥스를 제거합니다. 이는 계속 증가하는 KV 캐시를 고정 크기 행렬 "숨겨진 상태"로 바꿈으로써, 메모리가 시퀀스 길이가 아무리 길어져도 일정하게 유지됩니다. 이 비디오는 이 뒤의 수학, 청크 방식 병렬 학습이 GPU에서 얼마나 빠르게 작동하는지, 그리고 게이팅, 델타 규칙, 테스트 시간 학습과 같은 아이디어들이 표준 소프트맥스 어텐션과의 품질 격차를 줄이...