正則項是一種用於最佳化機器學習模型的技術，特別是在深度學習中，它通過在損失函式中添加一個額外的項來限制模型的複雜度，從而提高模型的泛化能力，即對新數據的預測能力。正則項的目的是防止模型過擬合訓練數據，避免模型在訓練數據上表現出色，但在未見過的數據上表現不佳。
正則項的類型包括：
L1正則化（Lasso正則化）：在損失函式中加入權重的絕對值之和，傾向於創建一個稀疏的權重矩陣，即很多權重值為零。這有助於特徵選擇，因為模型只會使用重要的特徵。
L2正則化：在損失函式中加入權重的平方和，有助於處理權重參數過大導致的過擬合問題。
正則項通常與主要的損失函式（如均方誤差或交叉熵）結合使用，以平衡主要損失和正則項之間的關係。例如，總損失可以表示為均方誤差加上一個乘以權重的平方和的正則化項。正則化參數用於控制正則化的強度，較大的值強化正則化效果，有助於減少過擬合，但也可能導致模型欠擬合。
正則化的概念在深度學習和統計學中源於其在數學上的意義，即符合一定規則或標準的事物。在深度學習的上下文中，正則化的目的是為了使模型符合某種「規則」或「標準」，以避免過擬合，增強模型的泛化能力。這種方法遵循了奧卡姆剃刀原則，即最簡單的解釋往往是正確的。通過限制模型的複雜性，正則化確保模型不會過度適應訓練數據中的噪聲或細節，而是學習到更一般、更簡單的模式。