梯度消失是神經網路訓練過程中的一個常見問題，特別是在深層神經網路中更為突出。
梯度消失指的是在反向傳播算法中，梯度值隨著網路層數的增加而逐漸趨近於零，導致模型靠近輸入層的權重更新非常小或幾乎不變，進而影響模型的訓練效果和收斂速度。這種現象的主要原因包括深度網路中的鏈式求導規則、激活函式的選擇（如sigmoid或tanh函式在輸入值較大或較小的情況下梯度趨近於零），以及權重初始化不當等。為了緩解梯度消失問題，可以採取一些措施，例如使用合適的激活函式（如ReLU或其變體），進行批標準化，使用殘差連線，以及對梯度進行裁剪等。