勵志

勵志人生知識庫

次梯度

次梯度(subgradient)是數學中的一個概念,主要用於處理非光滑函式的最佳化問題。在可導的凸函式中,我們通常使用梯度下降法進行最佳化,但如果目標函式在某些點上不可導(即導數不存在),則無法直接套用梯度下降法。次梯度就是用來解決這類問題的工具。

次梯度的定義是:對於凸函式f,如果在點x處存在一個向量g,使得對於所有y∈dom f(f的定義域),都有f(y)≥f(x)+⟨g,y−x⟩,那麼向量g被稱為f在x處的次梯度。這裡,⟨g,y−x⟩表示向量g與向量y−x的內積。

與常規的梯度相比,次梯度在非光滑函式中起著相似的作用,提供了函式值變化的一個度量。次梯度不僅限於單一值,而可能是一個集合,這反映了非光滑函式的性質。

次梯度的套用包括但不限於最佳化算法,特別是在處理不可微分的函式時。例如,在機器學習和數據科學中,次梯度下降法被用於最佳化損失函式,即使該損失函式包含不可微分的部分。

總的來說,次梯度是處理非光滑最佳化問題的關鍵工具,它允許我們在這些情況下保持最佳化算法的有效性。