XGBoost是一種基於梯度提升決策樹的機器學習算法，全稱為「Extreme Gradient Boosting」。
XGBoost算法的核心思想是使用大量較簡單的模型（決策樹）的組合來創建一個整體上更準確的預測模型。它通過不斷地添加新的決策樹來擬合數據中尚未被完全解釋的殘差，從而改進預測。與傳統的梯度提升算法相比，XGBoost在目標函式中加入了正則項以減少過擬合，並對損失函式進行了二階泰勒展開，提高了算法的準確性和效率。
XGBoost的優點包括能夠處理大規模數據集、高預測準確性、支持並行計算和快取最佳化等，這些特點使得XGBoost在解決分類和回歸問題時表現出色。