如果一個純度在全是貓和非貓之間我們如何定義這個純度呢我們看看熵的定義他是衡量樣本集不純度的一個指標我么你看這個圖片左邊是熵函數橫軸代表的是一種占比宗哲則是熵值我們看左邊的例子如果有個樣本你3貓3狗則P10.5 在左邊的圖中對應的熵值是1說明這個樣本相當的不純如果有個樣本你5貓1狗則P10.83 在左邊的圖中對應的熵值是0.65說明這個樣本純度有所提升如果有個樣本你6貓0狗則P11 在左邊的圖中對應的熵值是0說明這個樣本是純的純貓我們看一下熵函數的定義P0是非貓的比例 P01-P1下面是熵函數H(P1)的定義有一個叫做基尼準則的東西作用和這個差不多后面我們看一下如何根據這些東西在決策樹的節點上根據什么特征來進行分割