? 因為用樹模型太習以為常了，以至于看到這個標題很容易覺得這很顯然。但越簡單的東西越容易出現知識盲區，仔細想一下好像確實有點疑問：GBDT 用的是回歸樹，是如何做的分類呢？ - 作者：1直在路上1 -https://www.cnblogs.com/always-fight/p/9400346.html 編輯：阿澤的學習筆記 ?

一 簡介

GBDT 在傳統機器學習算法里面是對真實分布擬合的最好的幾種算法之一，在前幾年深度學習還沒有大行其道之前，GBDT 在各種競賽是大放異彩。原因大概有幾個

效果確實挺不錯；

既可以用于分類也可以用于回歸；

可以篩選特征。

這三點實在是太吸引人了，導致在面試的時候大家也非常喜歡問這個算法。

GBDT 是通過采用加法模型（即基函數的線性組合），以及不斷減小訓練過程產生的殘差來達到將數據分類或者回歸的算法。

GBDT 通過多輪迭代，每輪迭代產生一個弱分類器，每個分類器在上一輪分類器的殘差基礎上進行訓練。對弱分類器的要求一般是足夠簡單，并且是低方差和高偏差的。因為訓練的過程是通過降低偏差來不斷提高最終分類器的精度。

二 GBDT如何用于分類的

第一步：「訓練的時候，是針對樣本 X 每個可能的類都訓練一個分類回歸樹」。如目前的訓練集共有三類，即 K = 3，樣本 x 屬于第二類，那么針對樣本x的分類結果，我們可以用一個三維向量 [0,1,0] 來表示，0 表示不屬于該類，1 表示屬于該類，由于樣本已經屬于第二類了，所以第二類對應的向量維度為 1，其他位置為 0。

針對樣本有三類的情況，我們實質上是在每輪的訓練的時候是同時訓練三顆樹。第一顆樹針對樣本 x 的第一類，輸入是 ，第二顆樹針對樣本x的第二類，輸入是 ，第三顆樹針對樣本x的第三類，輸入是 。

在對樣本 x 訓練后產生三顆樹，對 x 類別的預測值分別是 ，那么在此類訓練中，樣本 x 屬于第一類，第二類，第三類的概率分別是：

然后可以求出針對第一類，第二類，第三類的殘差分別是：

然后開始第二輪訓練，針對第一類輸入為 ，針對第二類輸入為 ，針對第三類輸入為 ，繼續訓練出三顆樹。一直迭代M輪，每輪構建三棵樹當訓練完畢以后，新來一個樣本 ，我們需要預測該樣本的類別的時候，便產生三個值 ，則樣本屬于某個類別 c 的概率為：

三 GBDT多分類舉例說明

下面以 Iris 數據集的六個數據為例來展示 GBDT 多分類的過程

具體應用到 gbdt 多分類算法。我們用一個三維向量來標志樣本的 label，[1,0,0] 表示樣本屬于山鳶尾，[0,1,0] 表示樣本屬于雜色鳶尾，[0,0,1] 表示屬于維吉尼亞鳶尾。

gbdt 的多分類是針對每個類都獨立訓練一個 CART Tree。所以這里，我們將針對山鳶尾類別訓練一個 CART Tree 1。雜色鳶尾訓練一個 CART Tree 2 。維吉尼亞鳶尾訓練一個CART Tree 3，這三個樹相互獨立。

我們以樣本 1 為例：

針對 CART Tree1 的訓練樣本是 [5.1,3.5,1.4,0.2]，label 是 1，模型輸入為 [5.1, 3.5, 1.4, 0.2, 1]

針對 CART Tree2 的訓練樣本是 [5.1,3.5,1.4,0.2]，label 是 0，模型輸入為 [5.1, 3.5, 1.4, 0.2, 0]

針對 CART Tree3 的訓練樣本是 [5.1,3.5,1.4,0.2]，label 是 0，模型輸入為[5.1, 3.5, 1.4, 0.2, 0]

下面我們來看 CART Tree1 是如何生成的，其他樹 CART Tree2 , CART Tree 3 的生成方式是一樣的。CART Tree 的生成過程是從這四個特征中找一個特征做為 CART Tree1 的節點。

比如花萼長度做為節點。6 個樣本當中花萼長度大于等于 5.1 cm 的就是 A 類，小于 5.1 cm 的是 B 類。生成的過程其實非常簡單，問題

是哪個特征最合適？

是這個特征的什么特征值作為切分點？

即使我們已經確定了花萼長度做為節點。花萼長度本身也有很多值。在這里我們的方式是遍歷所有的可能性，找到一個最好的特征和它對應的最優特征值可以讓當前式子的值最小：

我們以第一個特征的第一個特征值為例。R1 為所有樣本中花萼長度小于 5.1cm 的樣本集合，R2 為所有樣本中花萼長度大于等于 5.1cm 的樣本集合，所以 。

為 R1 所有樣本label的均值：， 為 R2 所有樣本 label 的均值：

下面計算損失函數的值，采用平方誤差，分別計算 R1 和 R2 的誤差平方和，樣本 2 屬于 R1 的誤差：，樣本 1，3，4，5，6 屬于 R2 的誤差和：

接著我們計算第一個特征的第二個特征值，即 R1 為所有樣本中花萼長度小于 4.9 cm 的樣本集合，R2 為所有樣本當中花萼長度大于等于 4.9 cm 的樣本集合，， 為 R1 所有樣本 label 的均值：0， 為 R2 所有樣本 label 的均值：

計算所有樣本的損失值，樣本 1 和 2 屬于 R2，損失值為：，樣本 3，4，5，6 也屬于 R2，損失值為：，兩組損失值和為 2.222，大于特征一的第一個特征值的損失值，所以我們不取這個特征的特征值。

「繼續，這里有四個特征，每個特征有六個特征值，所有需要 6*4=24 個損失值的計算，我們選取值最小的分量的分界點作為最佳劃分點，這里我們就不一一計算了，直接給出最小的特征花萼長度，特征值為 5.1 cm。這個時候損失函數最小為 0.8。于是我們的預測函數此時也可以得到:」

「此例子中，訓練完以后的最終式子為：」

由這個式子，我們得到對樣本屬于類別 1 的預測值：，同理我們可以得到對樣本屬于類別 2，3 的預測值 ，樣本屬于類別 1 的概率

責任編輯：xj

原文標題：GBDT 如何用于分類問題

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。