在Transformer模型中，位置嵌入(position embedding)是一種機制，用於提供序列中各個元素位置的信息。這是因為在Transformer的主要構建塊（如自注意力層）中，模型本身並不具備處理序列中元素位置關係的能力。位置嵌入通常以向量形式實現，這些向量有與序列中的每個元素相同的維度。在處理輸入之前，模型會將這些位置向量加到對應元素的嵌入上，這樣做的目的是讓模型不僅能夠學習輸入元素的特徵，還能學習元素在序列中的相對或絕對位置。
在NLP等任務中，位置信息對詞彙的釋意有重要影響。例如，從上海到南京和從南京到上海的表達，詞彙本身的相對位置會影響到詞彙的釋意。為了解決這一問題，Transformer通過對每個位置設定一個位置編碼來解決這個問題。位置編碼的一個比較經典做法就是用one-hot向量，也就是在原始數據後面append一個基於位置的one-hot向量來使得同一數據在不同位置出現差異化。另一種方法是使用Sinusoidal位置編碼，這種位置編碼可以很好地表達相對位置關係。
在Transformer中，位置編碼可以使得神經網路有能力理解長句中單詞的順序和它們之間的依賴關係。例如，在Word2vec、Glove等算法進行的嵌入過程中，通過這種方式可以將包含大量單詞的文本語料庫傳遞到模型中進行訓練，得出的數學值將用於進一步的計算。在這個過程之後，得出的數學值將用於進一步的計算，比如考慮到我們的文本語料庫有3個句子，模型將假設「國王」和「皇後」這兩個詞之間可能存在一些相似性，而「路」這個詞將遠離「國王」和「王後」並被遠遠地放在空間中的其他位置。