勵志

勵志人生知識庫

梯度上升法公式

梯度上升法的疊代公式可以表示為:

w := w + α ∇w f(w)

其中,

w 是參數向量,

α 是步長(學習率),

∇w f(w) 是函式 f(w) 在點 w 處的梯度。

這個公式表示參數向量 w 在每次疊代中都會按照其梯度的方向進行更新,以最大化或最小化目標函式 f(w)。梯度上升法通常用於最大化效用函式,而梯度下降法用於最小化損失函式。在梯度上升法中,參數更新是沿著梯度上升的方向進行的。