梯度是一個矢量，它具有大小和方向兩個屬性：
梯度的大小：在數學中，梯度的大小是基於函式中選取的某一點，在該點處指向函式值變化最大的方向上的值。具體來說，梯度的大小是函式在該點處空間變化率的度量，即函式值隨空間距離增加一個單位時的變化值。在梯度下降法中，梯度的大小被定義為方嚮導數的最大值，這是通過計算函式在所有可能方向上的變化率來確定的。
梯度的方向：梯度的方向是函式增長最快的方向。在二維情況下，梯度向量的方向是函式曲面上函式值增長最快的方向。在多維情況下，梯度向量指向函式值增長最快的方向。梯度的方向與負梯度的方向相反，後者指向函式值減小最快的方向。梯度的方向也可以被理解為方嚮導數最大的方向，即函式值上升最快的方向。
綜上所述，梯度的大小表示函式在某一點處空間變化的速率，而梯度的方向則指示了函式值變化最快的方向。在最佳化算法如梯度下降法中，沿著梯度的負方向（即下降最快的方向）移動，可以使得函式值減小得最快，從而達到最佳化目標。