GBDT(Gradient Boosting Decision Tree,梯度提升決策樹)是一種疊代決策樹算法,它通過構建一組弱學習器(即決策樹)並將它們累加起來作為最終的預測輸出,有效地結合了決策樹和集成學習的思想。
GBDT的工作原理是,在每輪疊代中,根據當前模型的預測誤差(殘差)來訓練下一個決策樹,這些決策樹的輸出最終相加得到GBDT模型的預測結果。GBDT的基學習器是決策樹,通常是CART回歸樹,因為它可以輸出連續的預測值,這對於GBDT在疊代過程中使用梯度信息是必要的。
GBDT可以套用於回歸和分類問題,它的主要優勢包括高準確率、易於使用和較少的參數調整需求,與隨機森林等其他集成學習方法相比,GBDT在處理特定類型的數據時(如高維稀疏數據)可能更有效。此外,GBDT能夠處理各種類型的數據,包括數值型和分類型數據,並且在面對異常數據時表現出更強的穩定性。