GBDT（Gradient Boosting Decision Tree）是一種基於Boosting思想的集成學習算法，主要用於分類、回歸和排序等任務。
GBDT的核心原理在於通過疊代地訓練決策樹來減小訓練過程中的殘差，每棵樹學習前一棵樹的預測結果與訓練樣本真實值之間的殘差，從而逐步最佳化預測。GBDT中的樹都是回歸樹，而不是分類樹，這是因為GBDT旨在通過不斷減小殘差來提高模型的預測能力。
GBDT的訓練過程可以概括為：
初始化模型，通常使用0作為預測值。
對於每一輪疊代，計算前一輪預測結果的殘差。
使用殘差作為目標變數，訓練一棵回歸樹。
將新訓練的樹加入到模型中，並根據損失函式的梯度方向更新樹的權重。
重複步驟2至4，直到達到預設的疊代次數或滿足某個停止條件。
將所有樹的預測結果加權求和，得到最終預測。
GBDT的優點包括易於實現、具有良好的建模能力，能夠處理複雜的關係，並且能夠處理各種數據類型，包括分類和回歸。然而，它的缺點包括相對較慢的訓練速度，以及對高維稀疏數據和大規模數據的處理效率較低。