Adadelta算法是一種自適應學習率最佳化算法，旨在改進AdaGrad算法在訓練神經網路時學習率單調遞減的問題。Adadelta算法通過改變自定義步長的計算方式，不再需要初始學習率這一超參數。其核心思想是使用參數本身的變化率來調整學習率，從而加速最佳化過程，例如減少達到最優值所需的疊代次數，或提高最佳化算法的能力，例如獲得更好的最終結果。
Adadelta算法的主要特點是使用梯度積分的更新規則來調整學習率。在每個時刻，計算出每一層的梯度，並對這些梯度進行累加和記錄。然後，使用梯度積分來更新每一層的權重。Adadelta算法通過這種方式實現自適應學習率的調整。
與AdaGrad和RMSProp算法相比，Adadelta算法的關鍵區別在於它使用參數變化或delta的衰減平均值來計算參數的步長。此外，Adadelta算法還維護一個額外的狀態變數Δxt\Delta x_tΔxt，用於計算自變數的變化量。
總的來說，Adadelta算法是一種有效的自適應學習率最佳化算法，特別適用於深度學習中的神經網路訓練。它通過自動調整學習率，避免了手動調整學習率的繁瑣過程，同時提高了訓練過程的穩定性和效率。