深度神經網路中的一種技術
殘差連線（Residual Connection）是深度神經網路中的一種技術，旨在解決隨著網路深度增加而出現的梯度消失或梯度爆炸問題。它的核心思想是通過在網路的某些層中，將輸入的信號直接連線到輸出，從而構建一條直達路徑，使得梯度更容易通過整個網路傳播。這有助於在訓練深層網路時避免梯度消失或梯度爆炸的問題，同時提高了網路的收斂速度。
殘差連線也被稱為「跳躍連線」或skip connect，因為它是從輸入直接跳到輸出的。這樣的設計使得網路的每一層都能夠學習殘差，而不是必須從零開始學習整個映射。這有助於緩解訓練深層網路時的梯度消失問題。
殘差連線最早由何凱明等人在2016年的論文中提出，並被成功地套用於深度殘差網路(ResNet)中。這個技術也被廣泛套用於其他深度學習架構，如Transformer模型中的每個子層。