計算特征重要性的原理在隨機森林算法中使用的指標(biāo)和方法上有所不同。下面我將解釋兩種常見的特征重要性度量方法：

（1）基于袋外誤差減少（Out-of-Bag?Error?Reduction）：在隨機森林中，每個決策樹都是通過從原始數(shù)據(jù)集中進行有放回抽樣（bootstrap）來構(gòu)建的。這意味著對于每個決策樹，大約有約三分之一的數(shù)據(jù)樣本不會在構(gòu)建該樹時使用，這些樣本被稱為"袋外樣本"（Out-of-Bag,?OOB）。特征重要性度量可以通過計算在袋外樣本上預(yù)測誤差的減少來進行。方法是對于每個決策樹，在袋外樣本上計算預(yù)測誤差（例如，均方誤差）并記錄下來。然后，隨機打亂某個特征的值在袋外樣本上進行預(yù)測，并重新計算預(yù)測誤差。特征重要性度量即為原始預(yù)測誤差和打亂后的預(yù)測誤差之差的平均值。

（2）基于特征貢獻度（Gini?Importance）：該方法使用基尼指數(shù)（Gini?Index）作為特征重要性的度量。對于每個決策樹，計算每個特征在分裂節(jié)點上的基尼指數(shù)?；嶂笖?shù)衡量了在給定節(jié)點上根據(jù)特征進行分割后，樣本在類別上的不純度。特征重要性度量即為每個特征的基尼指數(shù)之和，并進行歸一化。

這些方法都基于決策樹的構(gòu)建和分裂過程，通過比較特征對模型的預(yù)測準(zhǔn)確性和不純度的影響程度來衡量特征的重要性。需要注意的是，不同的方法可能在計算上有細微的差異，因此具體實現(xiàn)和算法細節(jié)可能會有所不同

matlab基于OOB計算重要性

1：對于隨機森林中的每一顆決策樹,使用相應(yīng)的OOB(袋外數(shù)據(jù))數(shù)據(jù)來計算它的袋外數(shù)據(jù)誤差,記為errOOB1.

2: 隨機地對袋外數(shù)據(jù)OOB所有樣本的特征X加入噪聲干擾(就可以隨機的改變樣本在特征X處的值),再次計算它的袋外數(shù)據(jù)誤差,記為errOOB2.

3：假設(shè)隨機森林中有Ntree棵樹,那么對于特征X的重要性=∑(errOOB2-errOOB1)/Ntree,之所以可以用這個表達式來作為相應(yīng)特征的重要性的度量值是因為：若給某個特征隨機加入噪聲之后,袋外的準(zhǔn)確率大幅度降低,則說明這個特征對于樣本的分類結(jié)果影響很大,也就是說它的重要程度比較高。

代碼：

importance = net.OOBPermutedPredictorDeltaError; ?% 重要性

————————————————

版權(quán)聲明：本文為CSDN博主「雨落傾城（淋雨醬）」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/m0_54176616/article/details/127758648