閱讀全文：http://tecdat.cn/?p=24354

最近我們被客戶要求撰寫關(guān)于分析聲納數(shù)據(jù)的研究報(bào)告，包括一些圖形和統(tǒng)計(jì)輸出。

在本文中，介紹簡(jiǎn)化模型構(gòu)建和評(píng)估過(guò)程

caret包的train?函數(shù)可用于

• 使用重采樣評(píng)估模型調(diào)整參數(shù)對(duì)性能的影響

• 在這些參數(shù)中選擇“最佳”模型

• 從訓(xùn)練集估計(jì)模型性能

首先，必須選擇特定的模型。

調(diào)整模型的第一步是選擇一組要評(píng)估的參數(shù)。例如，如果擬合偏最小二乘 (PLS) 模型，則必須指定要評(píng)估的 PLS 組件的數(shù)量。

一旦定義了模型和調(diào)整參數(shù)值，還應(yīng)指定重采樣的類型。目前，??_k_折交叉驗(yàn)證（一次或重復(fù)）、留一法交叉驗(yàn)證和引導(dǎo)（簡(jiǎn)單估計(jì)或 632 規(guī)則）重采樣方法可以被?train。重采樣后，該過(guò)程會(huì)生成性能測(cè)量的配置文件，可用于指導(dǎo)用戶選擇應(yīng)選擇哪些調(diào)整參數(shù)值。默認(rèn)情況下，該函數(shù)會(huì)自動(dòng)選擇與最佳值相關(guān)的調(diào)整參數(shù)，盡管可以使用不同的算法。

聲納數(shù)據(jù)例子

在這里，我們加載數(shù)據(jù)：

str(Snr[,?1:10])

將數(shù)據(jù)的分層隨機(jī)樣本創(chuàng)建為訓(xùn)練集和測(cè)試集：

iTraing?<-?creaDaaPatiion(Cls,?p?=?.75,?list?=?FALSE)

我們將使用這些數(shù)據(jù)說(shuō)明此（和其他）頁(yè)面上的功能。

基本參數(shù)調(diào)優(yōu)

默認(rèn)情況下，簡(jiǎn)單重采樣用于上述算法中的第 3 行。還有其他的，如重復(fù)?_K_折交叉驗(yàn)證，留一法等。指定重采樣的類型：

fit?<-?trainCnol(##?10-fold?CV???????????????????????????meod?=?"rpaedcv", ????????????????? ???????????????????????????##?重復(fù)10次???????????????????????????rpets?=?10)

前兩個(gè)參數(shù)?train?分別是預(yù)測(cè)變量和結(jié)果數(shù)據(jù)對(duì)象。第三個(gè)參數(shù) ，?method指定模型的類型。為了說(shuō)明，我們將通過(guò) gbm 包。使用重復(fù)交叉驗(yàn)證擬合此模型的基本語(yǔ)法如下所示：

train( ?????????????????mehd?=?"gbm",

對(duì)于梯度提升機(jī) (GBM) 模型，有三個(gè)主要調(diào)整參數(shù)：

• 迭代次數(shù)，即樹(shù)，（?n.trees?在?gbm?函數(shù)中調(diào)用）

• 樹(shù)的復(fù)雜度，稱為?interaction.depth

• 學(xué)習(xí)率：算法適應(yīng)的速度，稱為?shrinkage

• 節(jié)點(diǎn)中開(kāi)始分裂的最小訓(xùn)練集樣本數(shù) (?n.minobsinnode)

為該模型測(cè)試的默認(rèn)值顯示在前兩列中（shrinkage?并且?n.minobsinnode?未顯示，因?yàn)楹蜻x模型的網(wǎng)格集都對(duì)這些調(diào)整參數(shù)使用單個(gè)值）。標(biāo)記為“?Accuracy”的列是交叉驗(yàn)證迭代的平均總體一致率。一致性標(biāo)準(zhǔn)偏差也是從交叉驗(yàn)證結(jié)果中計(jì)算出來(lái)的。“?Kappa”列是 Cohen 的（未加權(quán)的）Kappa 統(tǒng)計(jì)量在重采樣結(jié)果中的平均值。?train?適用于特定模型。對(duì)于這些模型，?train?可以自動(dòng)創(chuàng)建一個(gè)調(diào)整參數(shù)的網(wǎng)格。默認(rèn)情況下，如果?p?是調(diào)整參數(shù)的數(shù)量，則網(wǎng)格大小為?3^p。再舉一個(gè)例子，正則化判別分析 (RDA) 模型有兩個(gè)參數(shù) (gamma?和?lambda)，這兩個(gè)參數(shù)都介于 0 和 1 之間。默認(rèn)訓(xùn)練網(wǎng)格將在這個(gè)二維空間中產(chǎn)生九種組合。

train?下一節(jié)將介紹其中的其他功能?。

再現(xiàn)性注意事項(xiàng)

許多模型在估計(jì)參數(shù)的階段使用隨機(jī)數(shù)。此外，重采樣索引是使用隨機(jī)數(shù)選擇的。有兩種主要的方法來(lái)控制隨機(jī)性以確?？芍貜?fù)的結(jié)果。

• 有兩種方法可以確保在調(diào)用訓(xùn)練時(shí)使用相同的重樣本。第一種是在調(diào)用訓(xùn)練前使用set.seed。第一次使用隨機(jī)數(shù)是為了創(chuàng)建重采樣信息。另外，如果你想使用數(shù)據(jù)的特定分割，可以使用trainControl函數(shù)的索引參數(shù)。

• 當(dāng)模型在重采樣中被創(chuàng)建時(shí)，種子也可以被設(shè)置。雖然在調(diào)用train之前設(shè)置種子可以保證使用相同的隨機(jī)數(shù)，但在使用并行處理時(shí)不太可能是這種情況（取決于利用的是哪種技術(shù)）。為了設(shè)置模型擬合的種子，trainControl有一個(gè)額外的參數(shù)叫種子，可以使用。這個(gè)參數(shù)的值是一個(gè)作為種子的整數(shù)向量的列表。trainControl的幫助頁(yè)面描述了這個(gè)選項(xiàng)的適當(dāng)格式。

自定義調(diào)優(yōu)過(guò)程

有幾種方法可以自定義選擇調(diào)整/復(fù)雜性參數(shù)和構(gòu)建最終模型的過(guò)程。

預(yù)處理選項(xiàng)

如前所述，train?可以在模型擬合之前以各種方式對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。該功能?preProcess?是自動(dòng)使用的。此函數(shù)可用于標(biāo)準(zhǔn)、插補(bǔ)（參見(jiàn)下文詳細(xì)信息）、通過(guò)主成分分析或獨(dú)立成分分析應(yīng)用空間符號(hào)變換和特征提取。

為了指定應(yīng)該進(jìn)行什么預(yù)處理，該?train?函數(shù)有一個(gè)名為 的參數(shù)?preProcess。?preProcess?函數(shù)的附加選項(xiàng)?可以通過(guò)trainControl?函數(shù)傳遞?。

這些處理步驟將在使用predict.train,?extractPrediction?或?生成的任何預(yù)測(cè)期間應(yīng)用?extractProbs?（請(qǐng)參閱本文檔后面的詳細(xì)信息）。預(yù)處理?不會(huì)?應(yīng)用于直接使用object$finalModel?對(duì)象的預(yù)測(cè)?。

對(duì)于插補(bǔ)，目前實(shí)現(xiàn)了三種方法：

• _k -_最近鄰采用具有缺失值的樣本，并?在訓(xùn)練集中找到?_k 個(gè)_最接近的樣本。該?預(yù)測(cè)器的_k 個(gè)_訓(xùn)練集值的平均值?用作原始數(shù)據(jù)的替代。在計(jì)算到訓(xùn)練集樣本的距離時(shí)，計(jì)算中使用的預(yù)測(cè)變量是該樣本沒(méi)有缺失值且訓(xùn)練集中沒(méi)有缺失值的預(yù)測(cè)變量。

• 另一種方法是使用訓(xùn)練集樣本為每個(gè)預(yù)測(cè)因子擬合一個(gè)袋狀樹(shù)模型。這通常是一個(gè)相當(dāng)準(zhǔn)確的模型，可以處理缺失值。當(dāng)一個(gè)樣本的預(yù)測(cè)器需要估算時(shí)，其他預(yù)測(cè)器的值會(huì)通過(guò)袋裝樹(shù)進(jìn)行反饋，并將預(yù)測(cè)值作為新值。這個(gè)模型會(huì)有很大的計(jì)算成本。

• 預(yù)測(cè)器訓(xùn)練集值的中位數(shù)可用于估計(jì)缺失數(shù)據(jù)。

如果訓(xùn)練集中存在缺失值，PCA 和 ICA 模型僅使用完整樣本。

交替調(diào)諧網(wǎng)格

調(diào)諧參數(shù)網(wǎng)格可由用戶指定。該參數(shù)?tuneGrid?可以采用包含每個(gè)調(diào)整參數(shù)列的數(shù)據(jù)框。列名應(yīng)該與擬合函數(shù)的參數(shù)相同。對(duì)于前面提到的 RDA 示例，名稱將是?gamma?和?lambda。?train?將在行中的每個(gè)值組合上調(diào)整模型。

對(duì)于提升樹(shù)模型，我們可以固定學(xué)習(xí)率并評(píng)估三個(gè)以上的n.trees值。

expnd.grd( ????????????????????????n.trees?=?(1:30)*50,? ???????????????????????) ???????????????????????? Fit2

另一種選擇是使用可能的調(diào)整參數(shù)組合的隨機(jī)樣本，即“隨機(jī)搜索”。

要使用隨機(jī)搜索，請(qǐng)使用search = "random"?調(diào)用中?的選項(xiàng)?trainControl。在這種情況下，?tuneLength?參數(shù)定義了將被評(píng)估的參數(shù)組合的總數(shù)。

繪制重采樣圖像

該?plot?函數(shù)可用于檢查性能估計(jì)與調(diào)整參數(shù)之間的關(guān)系。例如，函數(shù)的簡(jiǎn)單調(diào)用顯示了第一個(gè)性能度量的結(jié)果：

tels.pr.st(cretTe())

可以使用該metric?選項(xiàng)顯示其他性能指標(biāo)?：

trels.r.st(carthme()) plt(Fit2,?meric?=?"Kap")

也可以使用其他類型的繪圖。有關(guān)?plot.train?更多詳細(xì)信息，請(qǐng)參閱?。下面的代碼顯示了結(jié)果的熱圖：

trlipt(crTme())plt(Fit2))

ggplot?還可以使用ggplot方法：

ggplot(?Fit2)

還有一些繪圖函數(shù)可以更詳細(xì)地表示重新采樣的估計(jì)值。有關(guān)?xyplot.train?更多詳細(xì)信息 。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

R和Python機(jī)器學(xué)習(xí):廣義線性回歸glm，樣條glm，梯度增強(qiáng)，隨機(jī)森林和深度學(xué)習(xí)模型分析

左右滑動(dòng)查看更多

01

02

03

04

從這些圖中，可能需要一組不同的調(diào)諧參數(shù)。要更改最終值而無(wú)需再次啟動(dòng)整個(gè)過(guò)程，?update.train?可用于重新擬合最終模型?？??update.train

trainControl?功能

該函數(shù)?trainControl?生成參數(shù)，進(jìn)一步控制模型的創(chuàng)建方式，可能的值：

• 方法。重新取樣的方法。"boot"、"cv"、"LOOCV"、"LGOCV"、"recomplatedcv"、"timeslice"、"none "和 "oob"。最后一個(gè)值，袋外估計(jì)值，只能由隨機(jī)森林、袋裝樹(shù)、袋裝地球、袋裝靈活判別分析或條件樹(shù)森林模型使用。GBM模型不包括在內(nèi)。另外，對(duì)于留一法交叉驗(yàn)證，沒(méi)有給出重采樣性能指標(biāo)的不確定性估計(jì)。

• number?和?repeats：?number?控制_K_折交叉驗(yàn)證中的折疊?次數(shù)或用于引導(dǎo)和離開(kāi)組交叉驗(yàn)證的重采樣迭代次數(shù)。?repeats?僅適用于重復(fù)的?_K_折交叉驗(yàn)證。假設(shè)?method = "repeatedcv",?number = 10?和?repeats = 3, 那么三個(gè)單獨(dú)的 10 折交叉驗(yàn)證被用作重采樣方案。

• verboseIter：輸出訓(xùn)練日志。

• returnData: 將數(shù)據(jù)保存到名為?trainingData。

替代性能指標(biāo)

用戶可以更改用于確定最佳設(shè)置的指標(biāo)。默認(rèn)情況下，為回歸計(jì)算RMSE、??R?2 和平均絕對(duì)誤差 (MAE)，而為分類計(jì)算準(zhǔn)確度和 Kappa。同樣默認(rèn)情況下，參數(shù)值是分別使用 RMSE 和精度選擇的，分別用于回歸和分類。該?函數(shù)的?metric?參數(shù)?train允許用戶控制使用哪個(gè)最優(yōu)標(biāo)準(zhǔn)。例如，在一類中樣本百分比較低的問(wèn)題中，使用?metric = "Kappa"?可以提高最終模型的質(zhì)量。

如果這些參數(shù)都不令人滿意，用戶還可以計(jì)算自定義性能指標(biāo)。該?trainControl?函數(shù)有一個(gè)參數(shù)?summaryFunction?，用于指定計(jì)算性能的函數(shù)。該函數(shù)應(yīng)具有以下參數(shù)：

• data是一個(gè)數(shù)據(jù)框或矩陣的參考，其列名為obs和pred，用于觀察和預(yù)測(cè)結(jié)果值（用于回歸的數(shù)字?jǐn)?shù)據(jù)或用于分類的字符值）。目前，類的概率沒(méi)有被傳遞給函數(shù)。data中的值是對(duì)單一調(diào)諧參數(shù)組合的保留預(yù)測(cè)值（及其相關(guān)參考值）。如果trainControl對(duì)象的classProbs參數(shù)被設(shè)置為 "true"，數(shù)據(jù)中就會(huì)出現(xiàn)包含類概率的額外列。這些列的名稱與類的級(jí)別相同。另外，如果在調(diào)用訓(xùn)練時(shí)指定了權(quán)重，那么數(shù)據(jù)集中也會(huì)有一列叫做權(quán)重的數(shù)據(jù)。

• lev?是一個(gè)字符串，它具有從訓(xùn)練數(shù)據(jù)中提取的結(jié)果因子級(jí)別。對(duì)于回歸，將 的值?NULL?傳遞到函數(shù)中。

• model?是正在使用的模型的字符串（即傳遞給 的method?參數(shù)?的值?train）。

該函數(shù)的輸出應(yīng)該是具有非空名稱的數(shù)字匯總指標(biāo)的向量。默認(rèn)情況下，?train?根據(jù)預(yù)測(cè)類別評(píng)估分類模型。可選地，類概率也可用于衡量性能。要在重采樣過(guò)程中獲得預(yù)測(cè)的類概率，參數(shù)?classProbs?in?trainControl?必須設(shè)置為?TRUE。這將概率列合并到每個(gè)重采樣生成的預(yù)測(cè)中（每個(gè)類有一列，列名是類名）。

如上一節(jié)所示，自定義函數(shù)可用于計(jì)算重采樣的平均性能分?jǐn)?shù)。計(jì)算 ROC 曲線下的靈敏度、特異性和面積：

head(toClamary)

要使用此標(biāo)準(zhǔn)重建提升樹(shù)模型，我們可以使用以下代碼查看調(diào)整參數(shù)與 ROC 曲線下面積之間的關(guān)系：

Fit3<-?tran(C ?????????????????mtric?=?"ROC")

在這種情況下，與最佳調(diào)整參數(shù)相關(guān)的 ROC 曲線下的平均面積在 100 次重采樣中為 0.922。

選擇最終模型

自定義調(diào)整過(guò)程的另一種方法是修改用于選擇“最佳”參數(shù)值的算法，給定性能數(shù)字。默認(rèn)情況下，該?train?函數(shù)選擇具有最大性能值（或最小，對(duì)于回歸模型中的均方誤差）的模型。可以使用其他選擇模型的方案。Breiman et al (1984)")?為簡(jiǎn)單的基于樹(shù)的模型建議了“一個(gè)標(biāo)準(zhǔn)錯(cuò)誤規(guī)則”。在這種情況下，識(shí)別出具有最佳性能值的模型，并使用重采樣來(lái)估計(jì)性能的標(biāo)準(zhǔn)誤差。使用的最終模型是（經(jīng)驗(yàn)上的）最佳模型的一個(gè)標(biāo)準(zhǔn)誤差范圍內(nèi)的最簡(jiǎn)單模型。對(duì)于簡(jiǎn)單的樹(shù)，這是有道理的，因?yàn)殡S著這些模型越來(lái)越針對(duì)訓(xùn)練數(shù)據(jù)，它們將開(kāi)始過(guò)度擬合。

train?允許用戶指定用于選擇最終模型的替代規(guī)則。該參數(shù)?selectionFunction?可用于提供一個(gè)函數(shù)來(lái)通過(guò)算法確定最終模型。包中現(xiàn)有三個(gè)函數(shù)：?best?是選擇最大/最小值，?oneSE?嘗試捕捉精神?Breiman et al (1984)")?并?tolerance?在最佳值的某個(gè)百分比容差范圍內(nèi)選擇最不復(fù)雜的模型。

可以使用用戶定義的函數(shù)，只要它們具有以下參數(shù)：

• x?是一個(gè)包含調(diào)整參數(shù)及其相關(guān)性能指標(biāo)的數(shù)據(jù)框。每行對(duì)應(yīng)一個(gè)不同的調(diào)整參數(shù)組合。

• metric?指示哪些性能度量應(yīng)該被優(yōu)化的字符串（這在直接從傳遞?metric?的自變量?train。

• maximize?是一個(gè)單一的邏輯值，指示性能指標(biāo)的較大值是否更好（這也直接從調(diào)用傳遞到?train）。

該函數(shù)應(yīng)輸出一個(gè)整數(shù)，指示x?選擇了哪一行?。

舉個(gè)例子，如果我們根據(jù)整體精度選擇之前的 boosted 樹(shù)模型，我們會(huì)選擇：n.trees = 1450，interaction.depth = 5，shrinkage = 0.1，n.minobsinnode = 20。該圖相當(dāng)緊湊，準(zhǔn)確度值從 0.863 到 0.922 不等。一個(gè)不太復(fù)雜的模型（例如更少、更淺的樹(shù)）也可能產(chǎn)生可接受的準(zhǔn)確性。

容差函數(shù)可用于基于 (?x?-?x?best)/?x?bestx 100（百分比差異）找到不太復(fù)雜的模型。例如，要根據(jù) 2% 的性能損失選擇參數(shù)值：

tolrae(rslts,?merc?=?"ROC",? ?????????????????????????tol?=?2,?mxiie?=?TRUE)

resul[whTwc,1:6]

這表明我們可以得到一個(gè)不太復(fù)雜的模型，其 ROC 曲線下的面積為 0.914（與“選擇最佳”值 0.922 相比）。

這些函數(shù)的主要問(wèn)題與從最簡(jiǎn)單到復(fù)雜的模型排序有關(guān)。在某些情況下，這很容易（例如簡(jiǎn)單的樹(shù)、偏最小二乘法），但在這種模型的情況下，模型的排序是主觀的。例如，使用 100 次迭代且樹(shù)深度為 2 的提升樹(shù)模型是否比使用 50 次迭代且深度為 8 的模型更復(fù)雜？該包做出了一些選擇。在提升樹(shù)的情況下，該包假設(shè)增加迭代次數(shù)比增加樹(shù)深度更快地增加復(fù)雜性，因此模型按迭代次數(shù)排序，然后按深度排序。

提取預(yù)測(cè)和類別概率

如前所述，由訓(xùn)練函數(shù)產(chǎn)生的對(duì)象在finalModel子對(duì)象中包含 "優(yōu)化 "的模型?？梢韵裢Ｒ粯訌倪@些對(duì)象中進(jìn)行預(yù)測(cè)。在某些情況下，比如pls或gbm對(duì)象，可能需要指定來(lái)自優(yōu)化后擬合的額外參數(shù)。在這些情況下，訓(xùn)練對(duì)象使用參數(shù)優(yōu)化的結(jié)果來(lái)預(yù)測(cè)新的樣本。例如，如果使用predict.gbm創(chuàng)建預(yù)測(cè)，用戶必須直接指定樹(shù)的數(shù)量（沒(méi)有默認(rèn)）。另外，對(duì)于二元分類，該函數(shù)的預(yù)測(cè)采取的是其中一個(gè)類的概率形式，所以需要額外的步驟將其轉(zhuǎn)換為因子向量。predict.train自動(dòng)處理這些細(xì)節(jié)（以及其他模型）。

此外，R 中模型預(yù)測(cè)的標(biāo)準(zhǔn)語(yǔ)法很少。例如，為了獲得類概率，許多?predict?方法都有一個(gè)稱為參數(shù)的參數(shù)?type?，用于指定是否應(yīng)該生成類或概率。不同的包使用不同的值?type，例如?"prob"，??"posterior"，??"response"，?"probability"?或?"raw"。在其他情況下，使用完全不同的語(yǔ)法。

對(duì)于predict.train，類型選項(xiàng)被標(biāo)準(zhǔn)化為 "class "和 "prob"。比如說(shuō)。

prdit(it3,?nwta?=?hadetn))

prdit(Ft3,?ewata?=?hed(ttig),?tye?=?"pob")

探索和比較重采樣分布

模型內(nèi)

例如，以下語(yǔ)句創(chuàng)建一個(gè)密度圖：

tlisaret(crtTe())deiplt(Ft3,?pch?=?"|")

請(qǐng)注意，如果您有興趣繪制多個(gè)調(diào)整參數(shù)的重采樣結(jié)果，resamples = "all"?則應(yīng)在控制對(duì)象中使用該選項(xiàng)?。

模型間

表征模型之間的差異（使用產(chǎn)生的?train，?sbf?或?rfe通過(guò)它們的重新采樣分布）。

首先，支持向量機(jī)模型擬合聲納數(shù)據(jù)。使用preProc?參數(shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化 。請(qǐng)注意，相同的隨機(jī)數(shù)種子設(shè)置在與用于提升樹(shù)模型的種子相同的模型之前。

set.sed(25) Ft?<-?tran( ?????????????????preProc?=?c("center",?"scale"), ??????????????? ?????????????????metric?=?"ROC")

此外，還擬合了正則化判別分析模型。

Fit?<-?tn( ?????????????????method?=?"rda")

鑒于這些模型，我們能否對(duì)它們的性能差異做出統(tǒng)計(jì)陳述？為此，我們首先使用 收集重采樣結(jié)果?。

rsa?<-?resamples()

summary

有幾種點(diǎn)陣圖方法可用于可視化重采樣分布：密度圖、盒須圖、散點(diǎn)圖矩陣和匯總統(tǒng)計(jì)的散點(diǎn)圖。例如：

the?<-?elia.get( ptsyol$col?=?rb(.2,?.,?.2,?.4) plot(resamp,?layot?=?c(3,?1))

由于模型是在相同版本的訓(xùn)練數(shù)據(jù)上擬合的，對(duì)模型之間的差異進(jìn)行推斷是有意義的。通過(guò)這種方式，我們減少了可能存在的樣本內(nèi)相關(guān)性。我們可以計(jì)算差異，然后使用一個(gè)簡(jiǎn)單的t檢驗(yàn)來(lái)評(píng)估模型之間沒(méi)有差異的無(wú)效假設(shè)。

diValu

summary

plot(diVls,?lyu?=?c(3,?1))

plot(fVue)

沒(méi)有參數(shù)調(diào)整的擬合模型

在模型調(diào)整值已知的情況下，?train?可用于將模型擬合到整個(gè)訓(xùn)練集，無(wú)需任何重采樣或參數(shù)調(diào)整?？梢允褂?using?method = "none"?選項(xiàng)?trainControl?。例如：

?tronol(mtd?=?"none",?csPrs?=?TRUE) Fit4

請(qǐng)注意?plot.train，??resamples,?confusionMatrix.train?和其他幾個(gè)函數(shù)不適用于此對(duì)象，但其他函數(shù)?predict.train?將：

prdct(Fit4,?newdata?)

prdit(Fit4,?newdata?,?tpe?=?"prb")

點(diǎn)擊文末?“閱讀原文”

獲取全文完整資料。

本文選自《R語(yǔ)言梯度提升機(jī) GBM、支持向量機(jī)SVM、正則判別分析RDA模型訓(xùn)練、參數(shù)調(diào)優(yōu)化和性能比較可視化分析聲納數(shù)據(jù)》。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

Python進(jìn)行多輸出（多因變量）回歸：集成學(xué)習(xí)梯度提升決策樹(shù)GRADIENT BOOSTING,GBR回歸訓(xùn)練和預(yù)測(cè)可視化
樣條曲線、決策樹(shù)、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類和動(dòng)態(tài)可視化
PYTHON集成學(xué)習(xí)：自己編寫構(gòu)建ADABOOST分類模型可視化決策邊界及SKLEARN包調(diào)用比較
PYTHON用戶流失數(shù)據(jù)挖掘：建立邏輯回歸、XGBOOST、隨機(jī)森林、決策樹(shù)、支持向量機(jī)、樸素貝葉斯和KMEANS聚類用戶畫像
PYTHON集成機(jī)器學(xué)習(xí)：用ADABOOST、決策樹(shù)、邏輯回歸集成模型分類和回歸和網(wǎng)格搜索超參數(shù)優(yōu)化
R語(yǔ)言集成模型：提升樹(shù)boosting、隨機(jī)森林、約束最小二乘法加權(quán)平均模型融合分析時(shí)間序列數(shù)據(jù)Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時(shí)間序列建模預(yù)測(cè)分析
R語(yǔ)言用主成分PCA、?邏輯回歸、決策樹(shù)、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
R語(yǔ)言基于樹(shù)的方法：決策樹(shù)，隨機(jī)森林，Bagging，增強(qiáng)樹(shù)
R語(yǔ)言用邏輯回歸、決策樹(shù)和隨機(jī)森林對(duì)信貸數(shù)據(jù)集進(jìn)行分類預(yù)測(cè)
spss modeler用決策樹(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)ST的股票
R語(yǔ)言中使用線性模型、回歸決策樹(shù)自動(dòng)組合特征因子水平
R語(yǔ)言中自編基尼系數(shù)的CART回歸決策樹(shù)的實(shí)現(xiàn)
R語(yǔ)言用rle，svm和rpart決策樹(shù)進(jìn)行時(shí)間序列預(yù)測(cè)
python在Scikit-learn中用決策樹(shù)和隨機(jī)森林預(yù)測(cè)NBA獲勝者
python中使用scikit-learn和pandas決策樹(shù)進(jìn)行iris鳶尾花數(shù)據(jù)分類建模和交叉驗(yàn)證
R語(yǔ)言里的非線性模型：多項(xiàng)式回歸、局部樣條、平滑樣條、 廣義相加模型GAM分析
R語(yǔ)言用標(biāo)準(zhǔn)最小二乘OLS，廣義相加模型GAM?，樣條函數(shù)進(jìn)行邏輯回歸LOGISTIC分類
R語(yǔ)言ISLR工資數(shù)據(jù)進(jìn)行多項(xiàng)式回歸和樣條回歸分析
R語(yǔ)言中的多項(xiàng)式回歸、局部回歸、核平滑和平滑樣條回歸模型
R語(yǔ)言用泊松Poisson回歸、GAM樣條曲線模型預(yù)測(cè)騎自行車者的數(shù)量
R語(yǔ)言分位數(shù)回歸、GAM樣條曲線、指數(shù)平滑和SARIMA對(duì)電力負(fù)荷時(shí)間序列預(yù)測(cè)PYTHON集成機(jī)器學(xué)習(xí)：用ADABOOST、決策樹(shù)、邏輯回歸集成模型分類和回歸和網(wǎng)格搜索超參數(shù)優(yōu)化
R語(yǔ)言集成模型：提升樹(shù)boosting、隨機(jī)森林、約束最小二乘法加權(quán)平均模型融合分析時(shí)間序列數(shù)據(jù)
Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時(shí)間序列建模預(yù)測(cè)分析
R語(yǔ)言用主成分PCA、?邏輯回歸、決策樹(shù)、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
R語(yǔ)言基于樹(shù)的方法：決策樹(shù)，隨機(jī)森林，Bagging，增強(qiáng)樹(shù)
R語(yǔ)言用邏輯回歸、決策樹(shù)和隨機(jī)森林對(duì)信貸數(shù)據(jù)集進(jìn)行分類預(yù)測(cè)
spss modeler用決策樹(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)ST的股票
R語(yǔ)言中使用線性模型、回歸決策樹(shù)自動(dòng)組合特征因子水平
R語(yǔ)言中自編基尼系數(shù)的CART回歸決策樹(shù)的實(shí)現(xiàn)
R語(yǔ)言用rle，svm和rpart決策樹(shù)進(jìn)行時(shí)間序列預(yù)測(cè)
python在Scikit-learn中用決策樹(shù)和隨機(jī)森林預(yù)測(cè)NBA獲勝者
python中使用scikit-learn和pandas決策樹(shù)進(jìn)行iris鳶尾花數(shù)據(jù)分類建模和交叉驗(yàn)證
R語(yǔ)言里的非線性模型：多項(xiàng)式回歸、局部樣條、平滑樣條、 廣義相加模型GAM分析
R語(yǔ)言用標(biāo)準(zhǔn)最小二乘OLS，廣義相加模型GAM?，樣條函數(shù)進(jìn)行邏輯回歸LOGISTIC分類
R語(yǔ)言ISLR工資數(shù)據(jù)進(jìn)行多項(xiàng)式回歸和樣條回歸分析
R語(yǔ)言中的多項(xiàng)式回歸、局部回歸、核平滑和平滑樣條回歸模型
R語(yǔ)言用泊松Poisson回歸、GAM樣條曲線模型預(yù)測(cè)騎自行車者的數(shù)量
R語(yǔ)言分位數(shù)回歸、GAM樣條曲線、指數(shù)平滑和SARIMA對(duì)電力負(fù)荷時(shí)間序列預(yù)測(cè)R語(yǔ)言樣條曲線、決策樹(shù)、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類和動(dòng)態(tài)可視化
如何用R語(yǔ)言在機(jī)器學(xué)習(xí)中建立集成模型？
R語(yǔ)言ARMA-EGARCH模型、集成預(yù)測(cè)算法對(duì)SPX實(shí)際波動(dòng)率進(jìn)行預(yù)測(cè)在python 深度學(xué)習(xí)Keras中計(jì)算神經(jīng)網(wǎng)絡(luò)集成模型R語(yǔ)言ARIMA集成模型預(yù)測(cè)時(shí)間序列分析R語(yǔ)言基于Bagging分類的邏輯回歸(Logistic Regression)、決策樹(shù)、森林分析心臟病患者
R語(yǔ)言基于樹(shù)的方法：決策樹(shù)，隨機(jī)森林，Bagging，增強(qiáng)樹(shù)
R語(yǔ)言基于Bootstrap的線性回歸預(yù)測(cè)置信區(qū)間估計(jì)方法
R語(yǔ)言使用bootstrap和增量法計(jì)算廣義線性模型（GLM）預(yù)測(cè)置信區(qū)間
R語(yǔ)言樣條曲線、決策樹(shù)、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類和動(dòng)態(tài)可視化
Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時(shí)間序列建模預(yù)測(cè)分析
R語(yǔ)言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測(cè)心臟病數(shù)據(jù)和可視化分析
R語(yǔ)言用主成分PCA、?邏輯回歸、決策樹(shù)、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
Matlab建立SVM，KNN和樸素貝葉斯模型分類繪制ROC曲線
matlab使用分位數(shù)隨機(jī)森林（QRF）回歸樹(shù)檢測(cè)異常值