勵志

勵志人生知識庫

學習率是什麼

學習率是機器學習和深度學習中一個至關重要的超參數,用於控制模型在訓練過程中參數更新的速度和步長。

學習率影響目標函式能否收斂到局部最小值以及何時收斂到最小值,合適的學習率能夠在確保模型收斂的同時,提高訓練效率。簡而言之,學習率控制著模型參數在訓練過程中的更新幅度。在訓練神經網路時,學習率決定每次梯度更新時參數的調整程度。它是一個調諧參數,可確定每次疊代中的步長,使損失函式收斂到最小值。