正則化是一種在機器學習和深度學習中廣泛套用的技術，主要用於防止過擬合，增強模型的泛化能力。正則化的本質是在經驗風險項後面加上正則罰項，使得通過最小化經驗風險求解模型參數轉變為通過最小化結構風險求解模型參數，進而選擇經驗風險小並且簡單的模型。
正則化的方法主要包括經驗正則化、參數正則化和隱式正則化。經驗正則化通過工程上的技巧來實現更低的泛化誤差，比如提前終止法、模型集成、Dropout等；參數正則化直接提供正則化約束，比如L1/L2正則化法等；隱式正則化不直接提供約束，比如數據有關的操作，包括歸一化、數據增強等。
其中，L1正則和L2正則是常用的正則化方法。L1正則可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇，同時可以防止過擬合。L2正則可以防止模型過擬合。從圖形角度分析，L1正則與經驗損失函式的交點一般在坐標軸上，從而可以使得某些權值為0，進而得到稀疏解。L2正則化與經驗損失函式的交點一般接近於坐標軸上，可以改善過擬合，但不具有稀疏性。