How do Transformer Models keep track of the order of words? Positional Encoding
Luis Serrano Academy · 9:49 · Watch on YouTube
위치 인코딩(Positional encoding)은 트랜스포머에게 받는 단어들의 순서를 알려줍니다. 이는 각 단어의 임베딩에 그 위치에 따라 달라지는 예측 가능한 오프셋 벡터를 더함으로써 이루어집니다. Luis Serrano의 핵심 주장은 사인/코사인 공식이 중요하지 않다는 것입니다. 모델이 학습할 수 있는 일관된 수열이면 되며, 컨텍스트 윈도우 내에서 반복되지 않으면 됩니다.