xLSTM: Extended Long Short-Term Memory
Yannic Kilcher · 57:00 · Watch on YouTube
xLSTM (Beck, Pöppel, Hochreiter et al.)은 LSTM 스타일의 순환 신경망이 수십억 개의 매개변수로 확장되고 현대적인 LLM 기법이 적용되었을 때 언어 모델링에서 얼마나 멀리 갈 수 있는지 묻습니다. Yannic Kilcher의 결론은 xLSTM이 Transformers 및 Mamba와 같은 상태 공간 모델과 대략적으로 경쟁력이 있으며, 순환이 도움이 되는...