構建決策樹的整體過程中我們都需要做什么第一步就是我們首先確定根節點的特征然后根據根節點的特征吧樣本分成兩塊然后針對左邊的或者是右邊的繼續去分第一個關鍵決策 就是我們如何確定每一個節點的特征是什么呢因為在根節點以及決策樹的左分支和右分支我們必須幾點如果該節點有少數的例子包含貓狗混合我們是根據臉型耳朵還是胡須去分割我們會在下個類型看到決策樹會選擇哪一個特征進行分類以嘗試最大化純度純度就是盡可能做到分的全是貓或者非貓的子集例如如果我們有一個特征他問這個動物有貓的DNA嗎我們實際上沒有這個特征如果我們有我們可以在根節點上進行分裂這將導致左側分支全是貓右邊全部不是貓這兩個分支全部都是純的這意味著每個分支都有一個類別要么全是貓要么不是貓因為貓的DNA這是一個非常好的特征但是基于我們實際的我們只能根據臉型耳性胡須他們都會得到純度不一樣的左右分支因此決策樹必須在這些特征之中進行選擇哪一個特征的純度最高因此我們首先要決定在節點上選擇最純的特征構建決策樹的第二個特征是什么時候停止這個就要制定數最大的深度防止樹太大難以管理通過保持樹小不太容易過擬合另一個可以決定停止分裂的標準純度分數的改進低于某個閾值如果一個節點分類導致純度很小的改進或者是降低了純度如果某個節點的例子低于某個閾值也可以停止分裂防止規模較小導致過擬合