TransformerFAM: Feedback attention is working memory
Yannic Kilcher · 37:00 · Watch on YouTube
비디오는 Google의 "TransformerFAM: Feedback Attention is Working Memory" 논문이 기본적으로 단일 토큰 대신 토큰 블록에서 작동하는 순환 신경망(RNN)이며 신경과학 용어로 설명된다고 주장합니다. 검토자는 아이디어가 합리적이라고 생각하지만, 논문은 자신을 주로 약한 블록 주의 기준선과 비교하고, 문제를 나타내는 결과를 설명하고, LSTM/R...