梯度的方向

函式值上升最快的方向

梯度的方向是函式值上升最快的方向。具體來說，對於函式上的某個點，如果沿著梯度方向移動，那麼函式值增加的最快。梯度方向也可以被理解為方嚮導數最大的方向，而梯度的模為最大的方嚮導數。相應的，負梯度的方向是函式值減小最快的方向。這意味著，沿著負梯度方向（即代價函式的下降方向）移動，可以使函式值下降得最快，這是梯度下降法的原理。