什麼是梯度爆炸

梯度爆炸是深度學習中的一個問題，它發生在神經網路訓練過程中，梯度值變得非常大，超出了網路的處理範圍。

梯度爆炸會導致權重更新變得不穩定，甚至不收斂，可能引起網路參數值迅速膨脹，最終可能導致數值溢出、計算錯誤和訓練失敗。這通常發生在深度神經網路中，尤其是當網路層數較多、網路結構複雜時，或者使用了不合適的激活函式、初始化方法或最佳化算法時更容易發生。在極端情況下，權重的值可能會大到溢出導致出現NaN值。