自注意力機制（Self-Attention）是注意力機制的一種形式，它允許模型關注序列內部元素之間的關係，以計算同一序列的表示。在標準的編碼器-解碼器框架中，傳統的注意力機制關注的是目標序列（Target）與源序列（Source）之間的聯繫，而在自注意力機制中，所有的關注都集中在輸入序列本身上。這種機制特別適用於處理可變長度的輸入序列，並且能夠建立全局依賴關係，擴大感受野。
自注意力機制的工作原理是通過計算序列中每個位置的查詢（Query）、鍵（Key）和值（Value）之間的相似度來生成輸出。在這個過程中，模型為序列中的每個元素分配不同的權重，這些權重反映了該元素與其他元素之間的相對重要性。這種動態生成的權重允許模型在每個時間步長上考慮整個序列的信息，從而能夠捕捉到長距離的依賴關係。
自注意力機制的一個主要優點是它能夠建立全局的依賴關係，這對於處理自然語言處理（NLP）和圖像處理等領域的任務非常有用。例如，在機器翻譯中，模型可以同時考慮源語言和目標語言中的所有單詞；在詞性標註中，每個單詞的向量表示可以考慮到句子中所有其他單詞的信息；在語義分析中，模型可以處理多個向量對應一個標籤的情況。
自注意力機制是Transformer模型的核心組成部分，它在自然語言處理領域取得了顯著的成功，尤其是在序列到序列的任務中。