Keys, Queries, and Values: The celestial mechanics of attention
0:00 · Watch on YouTube
Luis Serrano가 중력 유추를 사용하여 주의 메커니즘을 설명합니다: 문맥상 서로 중요한 단어들이 각각의 임베딩을 "끌어당깁니다". key 및 query 행렬이 각 단어가 다른 단어를 얼마나 강하게 끌어당기는지 결정하며, 그 끌어당김은 방향에 따라 다를 수 있습니다. value 행렬은 단어들을 다음 단어를 예측하는 데 더 좋은 별도의 임베딩으로 매핑하며, 실제 이동이 일어나는 곳입...