最小二乘法（Least Squares Method）是一種在回歸分析中廣泛使用的統計技術，主要用於估計模型參數，特別是在線性回歸模型中。它的主要目標是最小化實際觀測值與模型預測值之間的誤差平方和。
最小二乘法的公式和計算方法如下：
公式。對於一組輸入變數X和對應的輸出變數Y，最小二乘法的目標是找到最佳的參數估計值β，使得模型預測值Y_hat和真實觀測值Y之間的差異最小化，這可以通過最小化平方損失函式來實現，L(β)=Σ(Y-Y_hat)^2。
計算方法。為了求解最小二乘法，需要對平方損失函式進行最小化，這通常通過設定損失函式關於參數β的偏導數為零來求解，從而得到最佳的參數估計值。
最小二乘法的優點包括計算簡便和可提供直觀、可解釋的模型參數估計。它在許多領域都有廣泛套用，包括機器學習、統計學和工程等。然而，最小二乘法也有其局限性，例如在處理高維數據時，計算逆矩陣可能非常耗時或不可行。
此外，最小二乘法可以分為線性最小二乘法和非線性最小二乘法，分別用於線性模型和非線性模型。在實際套用中，根據問題的特性選擇合適的方法。