全文鏈接：http://tecdat.cn/?p=22721

最近我們被客戶要求撰寫關(guān)于Lasso回歸的研究報告，包括一些圖形和統(tǒng)計輸出。

Lease Absolute Shrinkage and Selection Operator（LASSO）在給定的模型上執(zhí)行正則化和變量選擇?（?點擊文末“閱讀原文”獲取完整代碼數(shù)據(jù)********?）。

根據(jù)懲罰項的大小，LASSO將不太相關(guān)的預(yù)測因子縮小到（可能）零。因此，它使我們能夠考慮一個更簡明的模型。在這組練習(xí)中，我們將在R中實現(xiàn)LASSO回歸。

練習(xí)1

加載糖尿病數(shù)據(jù)集。這有關(guān)于糖尿病的病人水平的數(shù)據(jù)。數(shù)據(jù)為n = 442名糖尿病患者中的每個人獲得了10個基線變量、年齡、性別、體重指數(shù)、平均血壓和6個血清測量值，以及感興趣的反應(yīng)，即一年后疾病進(jìn)展的定量測量。"

接下來，加載包用來實現(xiàn)LASSO。

head(data)

向下滑動查看結(jié)果▼

練習(xí)2

數(shù)據(jù)集有三個矩陣x、x2和y。x是較小的自變量集，而x2包含完整的自變量集以及二次和交互項。
檢查每個預(yù)測因素與因變量的關(guān)系。生成單獨的散點圖，所有預(yù)測因子的最佳擬合線在x中，y在縱軸上。用一個循環(huán)來自動完成這個過程。

summary(x)

for(i?in?1:10){??plot(x[,i],?y)??abline(lm(y~x[,i])}

向下滑動查看結(jié)果▼

點擊標(biāo)題查閱往期內(nèi)容

基于R語言實現(xiàn)LASSO回歸分析

左右滑動查看更多

01

02

03

04

練習(xí)3

使用OLS將y與x中的預(yù)測因子進(jìn)行回歸。我們將用這個結(jié)果作為比較的基準(zhǔn)。

lm(y?~?x)

向下滑動查看結(jié)果▼

練習(xí)4

繪制x的每個變量系數(shù)與β向量的L1準(zhǔn)則的路徑。該圖表明每個系數(shù)在哪個階段縮減為零。

plot(model_lasso)

向下滑動查看結(jié)果▼

練習(xí)5

得到交叉驗證曲線和最小化平均交叉驗證誤差的lambda的值。

plot(cv_fit)

向下滑動查看結(jié)果▼

練習(xí)6

使用上一個練習(xí)中的lambda的最小值，得到估計的β矩陣。注意，有些系數(shù)已經(jīng)縮減為零。這表明哪些預(yù)測因子在解釋y的變化方面是重要的。

>?fit$beta

向下滑動查看結(jié)果▼

練習(xí)7

為了得到一個更簡明的模型，我們可以使用一個更高的λ值，即在最小值的一個標(biāo)準(zhǔn)誤差之內(nèi)。用這個lambda值來得到β系數(shù)。注意，現(xiàn)在有更多的系數(shù)被縮減為零。

lambda.1se

beta

向下滑動查看結(jié)果▼

練習(xí)8

如前所述，x2包含更多的預(yù)測因子。使用OLS，將y回歸到x2，并評估結(jié)果。

summary(ols2)

向下滑動查看結(jié)果▼

練習(xí)9

對新模型重復(fù)練習(xí)-4。

lasso(x2,?y)plot(model_lasso1)

向下滑動查看結(jié)果▼

練習(xí)10

對新模型重復(fù)練習(xí)5和6，看看哪些系數(shù)被縮減為零。當(dāng)有很多候選變量時，這是縮小重要預(yù)測變量的有效方法。

plot(cv_fit1)

beta

向下滑動查看結(jié)果▼

本文摘選?《?R語言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測模型?》?，點擊“閱讀原文”獲取全文完整資料。

點擊標(biāo)題查閱往期內(nèi)容

【視頻】Lasso回歸、嶺回歸正則化回歸數(shù)學(xué)原理及R軟件實例
群組變量選擇、組懲罰group lasso套索模型預(yù)測新生兒出生體重風(fēng)險因素數(shù)據(jù)和交叉驗證、可視化
【視頻】Lasso回歸、嶺回歸等正則化回歸數(shù)學(xué)原理及R語言實例R語言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測模型
用LASSO，adaptive LASSO預(yù)測通貨膨脹時間序列MATLAB用Lasso回歸擬合高維數(shù)據(jù)和交叉驗證
群組變量選擇、組懲罰group lasso套索模型預(yù)測新生兒出生體重風(fēng)險因素數(shù)據(jù)和交叉驗證、可視化
高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)
Python高維變量選擇:SCAD平滑剪切絕對偏差懲罰、Lasso懲罰函數(shù)比較
R使用LASSO回歸預(yù)測股票收益
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測學(xué)生考試成績數(shù)據(jù)和交叉驗證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語言中對LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實現(xiàn)
R語言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測學(xué)生考試成績數(shù)據(jù)和交叉驗證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語言中對LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實現(xiàn)
R語言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
Python中LARS和Lasso回歸之最小角算法Lars分析波士頓住房數(shù)據(jù)實例
R語言自適應(yīng)LASSO 多項式回歸、二元邏輯回歸和嶺回歸應(yīng)用分析
R語言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
Python中的Lasso回歸之最小角算法LARS
r語言中對LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實現(xiàn)
R語言實現(xiàn)LASSO回歸——自己編寫LASSO回歸算法
r語言中對LASSO回歸，Ridge嶺回歸和Elastic Net模型實現(xiàn)
R使用LASSO回歸預(yù)測股票收益
R語言如何和何時使用glmnet嶺回歸
R語言中的嶺回歸、套索回歸、主成分回歸：線性模型選擇和正則化
Python中的ARIMA模型、SARIMA模型和SARIMAX模型對時間序列預(yù)測
R語言arima，向量自回歸（VAR），周期自回歸(PAR)模型分析溫度時間序列
【視頻】Python和R語言使用指數(shù)加權(quán)平均(EWMA)，ARIMA自回歸移動平均模型預(yù)測時間序列
Python用ARIMA和SARIMA模型預(yù)測銷量時間序列數(shù)據(jù)