L-BFGS（Limited-memory BFGS）是一種最佳化算法，用於解決無約束最最佳化問題，特別是在大規模數值計算中表現出色。以下是L-BFGS算法的相關介紹：
起源與原理。L-BFGS算法是由牛頓法發展而來，屬於擬牛頓法的一種。它在標準的BFGS算法的基礎上進行了改進，通過在有限的記憶體中存儲最近幾次疊代的曲率信息來近似Hessian矩陣，而不是直接存儲完整的Hessian矩陣。這樣做可以在不犧牲太多精度的情況下，顯著減少存儲需求和計算資源。
算法原理。L-BFGS算法的核心在於使用一個近似Hessian矩陣的逆來定義搜尋方向，這個近似是通過有限的記憶體中存儲的曲率信息來計算的。在每次疊代中，算法利用這些信息來估計真實的Hessian矩陣，從而確定下一步的搜尋方向。
套用。L-BFGS算法因其高效性和適用於大規模問題的特點，在機器學習、計算機視覺等領域有著廣泛的套用。例如，在條件隨機場（CRF）的學習中，L-BFGS算法就展現出了其優勢。
優缺點。L-BFGS算法的優點包括收斂速度快和節省存儲空間。然而，它也有一些局限性，例如對於非凸問題可能存在收斂到局部最小點的問題。