梯度下降方法是一種用於最佳化問題的疊代算法，主要用於找到函式（如損失函式）的局部最小值。其核心思想是在每一步疊代中，按照函式在當前點梯度的反方向更新參數，以逐步降低函式的值。
梯度下降方法的基本步驟如下：
初始化參數。隨機選擇模型參數的起始值。
計算代價函式。定義一個代價函式，通常是損失函式和正則化項的和。
計算梯度。對代價函式求導（即計算梯度），以確定函式增長最快的方向。
更新參數。根據梯度信息，按照一定的學習率調整模型參數，學習率控制每次調整的步長。
疊代最佳化。重複上述步驟，直到滿足停止條件（如達到最大疊代次數或代價函式的變化小於某個閾值）。
梯度下降方法的變種包括：
批量梯度下降（Batch Gradient Descent）：在每次疊代中使用所有訓練數據計算梯度。
隨機梯度下降（Stochastic Gradient Descent）：在每次疊代中隨機選擇一個樣本計算梯度。
小批量梯度下降（Mini-Batch Gradient Descent）：在每次疊代中選擇一個小批量樣本計算梯度。
動量梯度下降（Momentum Gradient Descent）：利用之前的梯度信息調整當前梯度方向。
自適應梯度下降（Adaptive Gradient Descent）：根據歷史梯度信息自適應調整學習率。
這些方法在不同的套用場景和需求下各有優勢和適用性。