GBDT（Gradient Boosting Decision Tree，梯度提升決策樹）是一種疊代的決策樹算法，主要用於回歸和分類問題。其核心思想是利用前一輪疊代得到的模型來預測殘差，然後用這些殘差作為下一輪疊代的目標值，以此類推，直到滿足停止條件。
在每一輪疊代中，GBDT的目標是找到一個回歸樹，使得樣本的損失函式儘可能地減小。這通常通過計算損失函式在當前模型下的負梯度作為提升樹算法的殘差近似值來實現。這些負梯度值被用作下一棵樹的新的標籤值，通過這種方式，GBDT不斷最佳化其預測結果。
GBDT中的樹都是回歸樹，而不是分類樹。這是因為GBDT最終預測結果是所有樹的預測結果的累加，只有回歸樹的預測結果累加才有意義。在分類問題上，GBDT通常採用logloss作為損失函式。
GBDT的一個重要特點是Shrinkage（縮減），它通過減少每棵樹對最終結果的影響，幫助避免過擬合。
總的來說，GBDT通過構建多棵回歸決策樹，並將這些樹的輸出累加起來，形成最終的預測結果。每棵樹都旨在減少前一輪模型預測的殘差，從而幫助改進整體模型的表現。