原文鏈接：http://tecdat.cn/?p=23075?

原文出處：拓端數(shù)據(jù)部落公眾號(hào)

這個(gè)例子展示了如何用Matlab實(shí)現(xiàn)貝葉斯優(yōu)化，使用分位數(shù)誤差調(diào)整回歸樹隨機(jī)森林的超參數(shù)。如果你打算使用模型來(lái)預(yù)測(cè)條件量值而不是條件平均值，那么使用分位數(shù)誤差而不是平均平方誤差來(lái)調(diào)整模型是合適的。

加載和預(yù)處理數(shù)據(jù)

加載數(shù)據(jù)集?？紤]建立一個(gè)模型，預(yù)測(cè)一輛汽車的燃油經(jīng)濟(jì)性中位數(shù)，給定它的加速度、汽缸數(shù)、發(fā)動(dòng)機(jī)排量、馬力、制造商、型號(hào)和重量。考慮將汽缸數(shù)、制造商和型號(hào)_年份作為分類變量。?

1. 


2. Cylinders = categorical(Cylinders);

指定調(diào)整參數(shù)

考慮調(diào)整:

• 森林中的樹木的復(fù)雜性（深度）。深的樹傾向于過(guò)度擬合，但淺的樹傾向于欠擬合。因此，規(guī)定每片葉子的最小觀測(cè)值數(shù)量最多為20。

• 生長(zhǎng)樹時(shí)，在每個(gè)節(jié)點(diǎn)上要采樣的預(yù)測(cè)器數(shù)量。指定從1到所有預(yù)測(cè)的采樣。

實(shí)現(xiàn)貝葉斯優(yōu)化的函數(shù)，要求你將這些參數(shù)作為優(yōu)化變量對(duì)象傳遞。?

optim('minLS',[1,maxMinLS],'Type');

超參數(shù)隨機(jī)森林是一個(gè)2乘1的優(yōu)化變量對(duì)象數(shù)組

貝葉斯優(yōu)化傾向于選擇包含很多樹的隨機(jī)森林，因?yàn)榫哂懈鄬W(xué)習(xí)者的合集更準(zhǔn)確。如果可用的計(jì)算資源是一個(gè)考慮因素，并且你傾向于樹數(shù)較少的合集，那么可以考慮將樹的數(shù)量與其他參數(shù)分開調(diào)整，或者對(duì)含有許多學(xué)習(xí)者的模型進(jìn)行懲罰。

定義目標(biāo)函數(shù)

為貝葉斯優(yōu)化算法定義一個(gè)要優(yōu)化的目標(biāo)函數(shù)。該函數(shù)應(yīng)：

• 接受要調(diào)整的參數(shù)作為輸入。

• 使用TreeBagger訓(xùn)練一個(gè)隨機(jī)森林。在TreeBagger調(diào)用中，指定要調(diào)整的參數(shù)并指定返回袋外指數(shù)。

• 根據(jù)中位數(shù)估計(jì)袋外分位數(shù)誤差。

• 返回袋外數(shù)據(jù)的分位數(shù)誤差。

1. function Err = RF(X)

2. %訓(xùn)練隨機(jī)森林并估計(jì)袋外的分位數(shù)誤差

3. % 使用X中的預(yù)測(cè)數(shù)據(jù)和params中的參數(shù)說(shuō)明，訓(xùn)練一個(gè)由300棵回歸樹組成的隨機(jī)森林，然后根據(jù)中位數(shù)返回袋外誤差。X是一個(gè)表，params是一個(gè)數(shù)組，對(duì)應(yīng)于每個(gè)節(jié)點(diǎn)的最小葉子大小和預(yù)測(cè)器數(shù)量來(lái)采樣。

4. randomForest = Tree(300,X);

5. Error(randomForest);

6. 


使用貝葉斯優(yōu)化實(shí)現(xiàn)目標(biāo)最小化

使用貝葉斯優(yōu)化法，找到在樹的復(fù)雜性和每個(gè)節(jié)點(diǎn)的預(yù)測(cè)因子數(shù)量方面達(dá)到最小的、懲罰的、袋外分位數(shù)誤差的模型。

bayes(@(params)oobErrRF,parameters,...);

結(jié)果是一個(gè)BayesianOptimization對(duì)象，其中包括目標(biāo)函數(shù)的最小值和優(yōu)化的超參數(shù)值。

顯示觀察到的目標(biāo)函數(shù)的最小值和優(yōu)化的超參數(shù)值。

1. MinObjective

2. bestHyperpara

使用優(yōu)化的超參數(shù)訓(xùn)練模型

使用整個(gè)數(shù)據(jù)集和優(yōu)化的超參數(shù)值訓(xùn)練一個(gè)隨機(jī)森林。?

Tree(300,X,'MPG','regression',...);

Mdl是為中位數(shù)預(yù)測(cè)優(yōu)化的TreeBagger對(duì)象。你可以通過(guò)將Mdl和新數(shù)據(jù)傳遞給quantilePredict來(lái)預(yù)測(cè)給定的預(yù)測(cè)數(shù)據(jù)的燃油經(jīng)濟(jì)性中值。?

最受歡迎的見解

1.從決策樹模型看員工為什么離職

2.R語(yǔ)言基于樹的方法：決策樹，隨機(jī)森林

3.python中使用scikit-learn和pandas決策樹

4.機(jī)器學(xué)習(xí)：在SAS中運(yùn)行隨機(jī)森林?jǐn)?shù)據(jù)分析報(bào)告

5.R語(yǔ)言用隨機(jī)森林和文本挖掘提高航空公司客戶滿意度

6.機(jī)器學(xué)習(xí)助推快時(shí)尚精準(zhǔn)銷售時(shí)間序列

7.用機(jī)器學(xué)習(xí)識(shí)別不斷變化的股市狀況——隱馬爾可夫模型的應(yīng)用

8.python機(jī)器學(xué)習(xí)：推薦系統(tǒng)實(shí)現(xiàn)（以矩陣分解來(lái)協(xié)同過(guò)濾）

9.python中用pytorch機(jī)器學(xué)習(xí)分類預(yù)測(cè)銀行客戶流失