原文鏈接：http://tecdat.cn/?p=24354

原文出處：拓端數(shù)據(jù)部落公眾號(hào)

?本文介紹簡(jiǎn)化模型構(gòu)建和評(píng)估過程。

caret包的train?函數(shù)可用于

• 使用重采樣評(píng)估模型調(diào)整參數(shù)對(duì)性能的影響

• 在這些參數(shù)中選擇“最佳”模型

• 從訓(xùn)練集估計(jì)模型性能

首先，必須選擇特定的模型。

調(diào)整模型的第一步是選擇一組要評(píng)估的參數(shù)。例如，如果擬合偏最小二乘 (PLS) 模型，則必須指定要評(píng)估的 PLS 組件的數(shù)量。

一旦定義了模型和調(diào)整參數(shù)值，還應(yīng)指定重采樣的類型。目前，??k折交叉驗(yàn)證（一次或重復(fù)）、留一法交叉驗(yàn)證和引導(dǎo)（簡(jiǎn)單估計(jì)或 632 規(guī)則）重采樣方法可以被?train。重采樣后，該過程會(huì)生成性能測(cè)量的配置文件，可用于指導(dǎo)用戶選擇應(yīng)選擇哪些調(diào)整參數(shù)值。默認(rèn)情況下，該函數(shù)會(huì)自動(dòng)選擇與最佳值相關(guān)的調(diào)整參數(shù)，盡管可以使用不同的算法。

聲納數(shù)據(jù)例子

在這里，我們加載數(shù)據(jù)：

1. 


2. str(Snr[, 1:10])

將數(shù)據(jù)的分層隨機(jī)樣本創(chuàng)建為訓(xùn)練集和測(cè)試集：

1. 


2. iTraing <- creaDaaPatiion(Cls, p = .75, list = FALSE)

我們將使用這些數(shù)據(jù)說明此（和其他）頁面上的功能。

基本參數(shù)調(diào)優(yōu)

默認(rèn)情況下，簡(jiǎn)單重采樣用于上述算法中的第 3 行。還有其他的，如重復(fù)?K折交叉驗(yàn)證，留一法等。 指定重采樣的類型：

1. fit <- trainCnol(## 10-fold CV

2. meod = "rpaedcv",

3. 


4. ## 重復(fù)10次

5. rpets = 10)

前兩個(gè)參數(shù)?train?分別是預(yù)測(cè)變量和結(jié)果數(shù)據(jù)對(duì)象。第三個(gè)參數(shù) ，?method指定模型的類型。為了說明，我們將通過?gbm?包。使用重復(fù)交叉驗(yàn)證擬合此模型的基本語法如下所示：

1. train(

2. mehd = "gbm",

?

對(duì)于梯度提升機(jī) (GBM) 模型，有三個(gè)主要調(diào)整參數(shù)：

• 迭代次數(shù)，即樹，（?n.trees?在?gbm?函數(shù)中調(diào)用）

• 樹的復(fù)雜度，稱為?interaction.depth

• 學(xué)習(xí)率：算法適應(yīng)的速度，稱為?shrinkage

• 節(jié)點(diǎn)中開始分裂的最小訓(xùn)練集樣本數(shù) (?n.minobsinnode)

為該模型測(cè)試的默認(rèn)值顯示在前兩列中（shrinkage?并且?n.minobsinnode?未顯示，因?yàn)楹蜻x模型的網(wǎng)格集都對(duì)這些調(diào)整參數(shù)使用單個(gè)值）。標(biāo)記為“?Accuracy”的列是交叉驗(yàn)證迭代的平均總體一致率。一致性標(biāo)準(zhǔn)偏差也是從交叉驗(yàn)證結(jié)果中計(jì)算出來的。“?Kappa”列是 Cohen 的（未加權(quán)的）Kappa 統(tǒng)計(jì)量在重采樣結(jié)果中的平均值。?train?適用于特定模型。對(duì)于這些模型，?train?可以自動(dòng)創(chuàng)建一個(gè)調(diào)整參數(shù)的網(wǎng)格。默認(rèn)情況下，如果?p?是調(diào)整參數(shù)的數(shù)量，則網(wǎng)格大小為?3^p。再舉一個(gè)例子，正則化判別分析 (RDA) 模型有兩個(gè)參數(shù) (gamma?和?lambda)，這兩個(gè)參數(shù)都介于 0 和 1 之間。默認(rèn)訓(xùn)練網(wǎng)格將在這個(gè)二維空間中產(chǎn)生九種組合。

train?下一節(jié)將介紹其中的其他功能?。

再現(xiàn)性注意事項(xiàng)

許多模型在估計(jì)參數(shù)的階段使用隨機(jī)數(shù)。此外，重采樣索引是使用隨機(jī)數(shù)選擇的。有兩種主要的方法來控制隨機(jī)性以確保可重復(fù)的結(jié)果。

• 有兩種方法可以確保在調(diào)用訓(xùn)練時(shí)使用相同的重樣本。第一種是在調(diào)用訓(xùn)練前使用set.seed。第一次使用隨機(jī)數(shù)是為了創(chuàng)建重采樣信息。另外，如果你想使用數(shù)據(jù)的特定分割，可以使用trainControl函數(shù)的索引參數(shù)。

• 當(dāng)模型在重采樣中被創(chuàng)建時(shí)，種子也可以被設(shè)置。雖然在調(diào)用train之前設(shè)置種子可以保證使用相同的隨機(jī)數(shù)，但在使用并行處理時(shí)不太可能是這種情況（取決于利用的是哪種技術(shù)）。為了設(shè)置模型擬合的種子，trainControl有一個(gè)額外的參數(shù)叫種子，可以使用。這個(gè)參數(shù)的值是一個(gè)作為種子的整數(shù)向量的列表。trainControl的幫助頁面描述了這個(gè)選項(xiàng)的適當(dāng)格式。

自定義調(diào)優(yōu)過程

有幾種方法可以自定義選擇調(diào)整/復(fù)雜性參數(shù)和構(gòu)建最終模型的過程。

預(yù)處理選項(xiàng)

如前所述，train?可以在模型擬合之前以各種方式對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。該功能?preProcess?是自動(dòng)使用的。此函數(shù)可用于標(biāo)準(zhǔn)、插補(bǔ)（參見下文詳細(xì)信息）、通過主成分分析或獨(dú)立成分分析應(yīng)用空間符號(hào)變換和特征提取。

為了指定應(yīng)該進(jìn)行什么預(yù)處理，該?train?函數(shù)有一個(gè)名為 的參數(shù)?preProcess。?preProcess?函數(shù)的附加選項(xiàng)?可以通過trainControl?函數(shù)傳遞?。

這些處理步驟將在使用predict.train,?extractPrediction?或?生成的任何預(yù)測(cè)期間應(yīng)用?extractProbs?（請(qǐng)參閱本文檔后面的詳細(xì)信息）。預(yù)處理?不會(huì)?應(yīng)用于直接使用object$finalModel?對(duì)象的預(yù)測(cè)?。

對(duì)于插補(bǔ)，目前實(shí)現(xiàn)了三種方法：

• k -最近鄰采用具有缺失值的樣本，并?在訓(xùn)練集中找到?k 個(gè)最接近的樣本。該?預(yù)測(cè)器的k 個(gè)訓(xùn)練集值的平均值?用作原始數(shù)據(jù)的替代。在計(jì)算到訓(xùn)練集樣本的距離時(shí)，計(jì)算中使用的預(yù)測(cè)變量是該樣本沒有缺失值且訓(xùn)練集中沒有缺失值的預(yù)測(cè)變量。

• 另一種方法是使用訓(xùn)練集樣本為每個(gè)預(yù)測(cè)因子擬合一個(gè)袋狀樹模型。這通常是一個(gè)相當(dāng)準(zhǔn)確的模型，可以處理缺失值。當(dāng)一個(gè)樣本的預(yù)測(cè)器需要估算時(shí)，其他預(yù)測(cè)器的值會(huì)通過袋裝樹進(jìn)行反饋，并將預(yù)測(cè)值作為新值。這個(gè)模型會(huì)有很大的計(jì)算成本。
  ?

• 預(yù)測(cè)器訓(xùn)練集值的中位數(shù)可用于估計(jì)缺失數(shù)據(jù)。

如果訓(xùn)練集中存在缺失值，PCA 和 ICA 模型僅使用完整樣本。

交替調(diào)諧網(wǎng)格

調(diào)諧參數(shù)網(wǎng)格可由用戶指定。該參數(shù)?tuneGrid?可以采用包含每個(gè)調(diào)整參數(shù)列的數(shù)據(jù)框。列名應(yīng)該與擬合函數(shù)的參數(shù)相同。對(duì)于前面提到的 RDA 示例，名稱將是?gamma?和?lambda。?train?將在行中的每個(gè)值組合上調(diào)整模型。

對(duì)于提升樹模型，我們可以固定學(xué)習(xí)率并評(píng)估三個(gè)以上的n.trees值。
?

1. expnd.grd(

2. n.trees = (1:30)*50,

3. )

4. 


5. 


6. Fit2

?

另一種選擇是使用可能的調(diào)整參數(shù)組合的隨機(jī)樣本，即“隨機(jī)搜索”。

要使用隨機(jī)搜索，請(qǐng)使用search = "random"?調(diào)用中?的選項(xiàng)?trainControl。在這種情況下，?tuneLength?參數(shù)定義了將被評(píng)估的參數(shù)組合的總數(shù)。

繪制重采樣圖像

該?plot?函數(shù)可用于檢查性能估計(jì)與調(diào)整參數(shù)之間的關(guān)系。例如，函數(shù)的簡(jiǎn)單調(diào)用顯示了第一個(gè)性能度量的結(jié)果：

tels.pr.st(cretTe())

可以使用該metric?選項(xiàng)顯示其他性能指標(biāo)?：

1. trels.r.st(carthme())

2. plt(Fit2, meric = "Kap")

?

也可以使用其他類型的繪圖。有關(guān)?plot.train?更多詳細(xì)信息，請(qǐng)參閱?。下面的代碼顯示了結(jié)果的熱圖：

1. trlipt(crTme())

2. plt(Fit2))

ggplot?還可以使用ggplot方法：

ggplot( Fit2) ?

還有一些繪圖函數(shù)可以更詳細(xì)地表示重新采樣的估計(jì)值。有關(guān)?xyplot.train?更多詳細(xì)信息，請(qǐng)參閱?。

從這些圖中，可能需要一組不同的調(diào)諧參數(shù)。要更改最終值而無需再次啟動(dòng)整個(gè)過程，?update.train?可用于重新擬合最終模型?？??update.train

trainControl?功能

該函數(shù)?trainControl?生成參數(shù)，進(jìn)一步控制模型的創(chuàng)建方式，可能的值：

• 方法。重新取樣的方法。"boot"、"cv"、"LOOCV"、"LGOCV"、"recomplatedcv"、"timeslice"、"none "和 "oob"。最后一個(gè)值，袋外估計(jì)值，只能由隨機(jī)森林、袋裝樹、袋裝地球、袋裝靈活判別分析或條件樹森林模型使用。GBM模型不包括在內(nèi)。另外，對(duì)于留一法交叉驗(yàn)證，沒有給出重采樣性能指標(biāo)的不確定性估計(jì)。

• number?和?repeats：?number?控制K折交叉驗(yàn)證中的折疊?次數(shù)或用于引導(dǎo)和離開組交叉驗(yàn)證的重采樣迭代次數(shù)。?repeats?僅適用于重復(fù)的?K折交叉驗(yàn)證。假設(shè)?method = "repeatedcv",?number = 10?和?repeats = 3, 那么三個(gè)單獨(dú)的 10 折交叉驗(yàn)證被用作重采樣方案。

• verboseIter：輸出訓(xùn)練日志。

• returnData: 將數(shù)據(jù)保存到名為?trainingData。

替代性能指標(biāo)

用戶可以更改用于確定最佳設(shè)置的指標(biāo)。默認(rèn)情況下，為回歸計(jì)算RMSE、??R?2 和平均絕對(duì)誤差 (MAE)，而為分類計(jì)算準(zhǔn)確度和 Kappa。同樣默認(rèn)情況下，參數(shù)值是分別使用 RMSE 和精度選擇的，分別用于回歸和分類。該?函數(shù)的?metric?參數(shù)?train允許用戶控制使用哪個(gè)最優(yōu)標(biāo)準(zhǔn)。例如，在一類中樣本百分比較低的問題中，使用?metric = "Kappa"?可以提高最終模型的質(zhì)量。

如果這些參數(shù)都不令人滿意，用戶還可以計(jì)算自定義性能指標(biāo)。該?trainControl?函數(shù)有一個(gè)參數(shù)?summaryFunction?，用于指定計(jì)算性能的函數(shù)。該函數(shù)應(yīng)具有以下參數(shù)：

• data是一個(gè)數(shù)據(jù)框或矩陣的參考，其列名為obs和pred，用于觀察和預(yù)測(cè)結(jié)果值（用于回歸的數(shù)字?jǐn)?shù)據(jù)或用于分類的字符值）。目前，類的概率沒有被傳遞給函數(shù)。data中的值是對(duì)單一調(diào)諧參數(shù)組合的保留預(yù)測(cè)值（及其相關(guān)參考值）。如果trainControl對(duì)象的classProbs參數(shù)被設(shè)置為 "true"，數(shù)據(jù)中就會(huì)出現(xiàn)包含類概率的額外列。這些列的名稱與類的級(jí)別相同。另外，如果在調(diào)用訓(xùn)練時(shí)指定了權(quán)重，那么數(shù)據(jù)集中也會(huì)有一列叫做權(quán)重的數(shù)據(jù)。

• lev?是一個(gè)字符串，它具有從訓(xùn)練數(shù)據(jù)中提取的結(jié)果因子級(jí)別。對(duì)于回歸，將 的值?NULL?傳遞到函數(shù)中。

• model?是正在使用的模型的字符串（即傳遞給 的method?參數(shù)?的值?train）。

該函數(shù)的輸出應(yīng)該是具有非空名稱的數(shù)字匯總指標(biāo)的向量。默認(rèn)情況下，?train?根據(jù)預(yù)測(cè)類別評(píng)估分類模型?？蛇x地，類概率也可用于衡量性能。要在重采樣過程中獲得預(yù)測(cè)的類概率，參數(shù)?classProbs?in?trainControl?必須設(shè)置為?TRUE。這將概率列合并到每個(gè)重采樣生成的預(yù)測(cè)中（每個(gè)類有一列，列名是類名）。

如上一節(jié)所示，自定義函數(shù)可用于計(jì)算重采樣的平均性能分?jǐn)?shù)。計(jì)算 ROC 曲線下的靈敏度、特異性和面積：

head(toClamary)

要使用此標(biāo)準(zhǔn)重建提升樹模型，我們可以使用以下代碼查看調(diào)整參數(shù)與 ROC 曲線下面積之間的關(guān)系：

1. 


2. 


3. Fit3<- tran(C

4. mtric = "ROC")

?

在這種情況下，與最佳調(diào)整參數(shù)相關(guān)的 ROC 曲線下的平均面積在 100 次重采樣中為 0.922。

選擇最終模型

自定義調(diào)整過程的另一種方法是修改用于選擇“最佳”參數(shù)值的算法，給定性能數(shù)字。默認(rèn)情況下，該?train?函數(shù)選擇具有最大性能值（或最小，對(duì)于回歸模型中的均方誤差）的模型。可以使用其他選擇模型的方案。?Breiman et al (1984)?為簡(jiǎn)單的基于樹的模型建議了“一個(gè)標(biāo)準(zhǔn)錯(cuò)誤規(guī)則”。在這種情況下，識(shí)別出具有最佳性能值的模型，并使用重采樣來估計(jì)性能的標(biāo)準(zhǔn)誤差。使用的最終模型是（經(jīng)驗(yàn)上的）最佳模型的一個(gè)標(biāo)準(zhǔn)誤差范圍內(nèi)的最簡(jiǎn)單模型。對(duì)于簡(jiǎn)單的樹，這是有道理的，因?yàn)殡S著這些模型越來越針對(duì)訓(xùn)練數(shù)據(jù)，它們將開始過度擬合。

train?允許用戶指定用于選擇最終模型的替代規(guī)則。該參數(shù)?selectionFunction?可用于提供一個(gè)函數(shù)來通過算法確定最終模型。包中現(xiàn)有三個(gè)函數(shù)：?best?是選擇最大/最小值，?oneSE?嘗試捕捉精神?Breiman et al (1984)?并?tolerance?在最佳值的某個(gè)百分比容差范圍內(nèi)選擇最不復(fù)雜的模型。

可以使用用戶定義的函數(shù)，只要它們具有以下參數(shù)：

• x?是一個(gè)包含調(diào)整參數(shù)及其相關(guān)性能指標(biāo)的數(shù)據(jù)框。每行對(duì)應(yīng)一個(gè)不同的調(diào)整參數(shù)組合。

• metric?指示哪些性能度量應(yīng)該被優(yōu)化的字符串（這在直接從傳遞?metric?的自變量?train。

• maximize?是一個(gè)單一的邏輯值，指示性能指標(biāo)的較大值是否更好（這也直接從調(diào)用傳遞到?train）。

該函數(shù)應(yīng)輸出一個(gè)整數(shù)，指示x?選擇了哪一行?。

舉個(gè)例子，如果我們根據(jù)整體精度選擇之前的 boosted 樹模型，我們會(huì)選擇：n.trees = 1450，interaction.depth = 5，shrinkage = 0.1，n.minobsinnode = 20。該圖相當(dāng)緊湊，準(zhǔn)確度值從 0.863 到 0.922 不等。一個(gè)不太復(fù)雜的模型（例如更少、更淺的樹）也可能產(chǎn)生可接受的準(zhǔn)確性。

容差函數(shù)可用于基于 (?x?-?x?best)/?x?bestx 100（百分比差異）找到不太復(fù)雜的模型。例如，要根據(jù) 2% 的性能損失選擇參數(shù)值：

1. tolrae(rslts, merc = "ROC",

2. tol = 2, mxiie = TRUE)

resul[whTwc,1:6]

這表明我們可以得到一個(gè)不太復(fù)雜的模型，其 ROC 曲線下的面積為 0.914（與“選擇最佳”值 0.922 相比）。

這些函數(shù)的主要問題與從最簡(jiǎn)單到復(fù)雜的模型排序有關(guān)。在某些情況下，這很容易（例如簡(jiǎn)單的樹、偏最小二乘法），但在這種模型的情況下，模型的排序是主觀的。例如，使用 100 次迭代且樹深度為 2 的提升樹模型是否比使用 50 次迭代且深度為 8 的模型更復(fù)雜？該包做出了一些選擇。在提升樹的情況下，該包假設(shè)增加迭代次數(shù)比增加樹深度更快地增加復(fù)雜性，因此模型按迭代次數(shù)排序，然后按深度排序。

提取預(yù)測(cè)和類別概率

如前所述，由訓(xùn)練函數(shù)產(chǎn)生的對(duì)象在finalModel子對(duì)象中包含 "優(yōu)化 "的模型?？梢韵裢Ｒ粯訌倪@些對(duì)象中進(jìn)行預(yù)測(cè)。在某些情況下，比如pls或gbm對(duì)象，可能需要指定來自優(yōu)化后擬合的額外參數(shù)。在這些情況下，訓(xùn)練對(duì)象使用參數(shù)優(yōu)化的結(jié)果來預(yù)測(cè)新的樣本。例如，如果使用predict.gbm創(chuàng)建預(yù)測(cè)，用戶必須直接指定樹的數(shù)量（沒有默認(rèn)）。另外，對(duì)于二元分類，該函數(shù)的預(yù)測(cè)采取的是其中一個(gè)類的概率形式，所以需要額外的步驟將其轉(zhuǎn)換為因子向量。predict.train自動(dòng)處理這些細(xì)節(jié)（以及其他模型）。

此外，R 中模型預(yù)測(cè)的標(biāo)準(zhǔn)語法很少。例如，為了獲得類概率，許多?predict?方法都有一個(gè)稱為參數(shù)的參數(shù)?type?，用于指定是否應(yīng)該生成類或概率。不同的包使用不同的值?type，例如?"prob"，??"posterior"，??"response"，?"probability"?或?"raw"。在其他情況下，使用完全不同的語法。

對(duì)于predict.train，類型選項(xiàng)被標(biāo)準(zhǔn)化為 "class "和 "prob"。比如說。

prdit(it3, nwta = hadetn))

prdit(Ft3, ewata = hed(ttig), tye = "pob")

探索和比較重采樣分布

模型內(nèi)

例如，以下語句創(chuàng)建一個(gè)密度圖：

1. tlisaret(crtTe())

2. deiplt(Ft3, pch = "|")

請(qǐng)注意，如果您有興趣繪制多個(gè)調(diào)整參數(shù)的重采樣結(jié)果，resamples = "all"?則應(yīng)在控制對(duì)象中使用該選項(xiàng)?。

模型間

表征模型之間的差異（使用產(chǎn)生的?train，?sbf?或?rfe通過它們的重新采樣分布）。

首先，支持向量機(jī)模型擬合聲納數(shù)據(jù)。使用preProc?參數(shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化 。請(qǐng)注意，相同的隨機(jī)數(shù)種子設(shè)置在與用于提升樹模型的種子相同的模型之前。

1. set.sed(25)

2. Ft <- tran(

3. preProc = c("center", "scale"),

4. 


5. metric = "ROC")

此外，還擬合了正則化判別分析模型。

1. Fit <- tn(

2. method = "rda")

鑒于這些模型，我們能否對(duì)它們的性能差異做出統(tǒng)計(jì)陳述？為此，我們首先使用 收集重采樣結(jié)果?。

rsa <- resamples()

summary

有幾種點(diǎn)陣圖方法可用于可視化重采樣分布：密度圖、盒須圖、散點(diǎn)圖矩陣和匯總統(tǒng)計(jì)的散點(diǎn)圖。例如：

1. the <- elia.get(

2. ptsyol$col = rb(.2, ., .2, .4)

3. plot(resamp, layot = c(3, 1))

由于模型是在相同版本的訓(xùn)練數(shù)據(jù)上擬合的，對(duì)模型之間的差異進(jìn)行推斷是有意義的。通過這種方式，我們減少了可能存在的樣本內(nèi)相關(guān)性。我們可以計(jì)算差異，然后使用一個(gè)簡(jiǎn)單的t檢驗(yàn)來評(píng)估模型之間沒有差異的無效假設(shè)。
?

diValu

summary

plot(diVls, lyu = c(3, 1))

plot(fVue)

沒有參數(shù)調(diào)整的擬合模型

在模型調(diào)整值已知的情況下，?train?可用于將模型擬合到整個(gè)訓(xùn)練集，無需任何重采樣或參數(shù)調(diào)整。可以使用 using?method = "none"?選項(xiàng)?trainControl?。例如：

1. tronol(mtd = "none", csPrs = TRUE)

2. Fit4

請(qǐng)注意?plot.train，??resamples,?confusionMatrix.train?和其他幾個(gè)函數(shù)不適用于此對(duì)象，但其他函數(shù)?predict.train?將：

prdct(Fit4, newdata )

prdit(Fit4, newdata , tpe = "prb")

?

最受歡迎的見解

1.從決策樹模型看員工為什么離職

2.R語言基于樹的方法：決策樹，隨機(jī)森林

3.python中使用scikit-learn和pandas決策樹

4.機(jī)器學(xué)習(xí)：在SAS中運(yùn)行隨機(jī)森林?jǐn)?shù)據(jù)分析報(bào)告

5.R語言用隨機(jī)森林和文本挖掘提高航空公司客戶滿意度

6.機(jī)器學(xué)習(xí)助推快時(shí)尚精準(zhǔn)銷售時(shí)間序列

7.用機(jī)器學(xué)習(xí)識(shí)別不斷變化的股市狀況——隱馬爾可夫模型的應(yīng)用

8.python機(jī)器學(xué)習(xí)：推薦系統(tǒng)實(shí)現(xiàn)（以矩陣分解來協(xié)同過濾）

9.

python中用pytorch機(jī)器學(xué)習(xí)分類預(yù)測(cè)銀行客戶流失