全文鏈接：http://tecdat.cn/?p=22721

最近我們被客戶要求撰寫關(guān)于Lasso回歸模型的研究報(bào)告，包括一些圖形和統(tǒng)計(jì)輸出。

Lease Absolute Shrinkage and Selection Operator（LASSO）在給定的模型上執(zhí)行正則化和變量選擇

根據(jù)懲罰項(xiàng)的大小，LASSO將不太相關(guān)的預(yù)測(cè)因子縮小到（可能）零。因此，它使我們能夠考慮一個(gè)更簡(jiǎn)明的模型。在這組練習(xí)中，我們將在R中實(shí)現(xiàn)LASSO回歸。

練習(xí)1

加載糖尿病數(shù)據(jù)集。這有關(guān)于糖尿病的病人水平的數(shù)據(jù)。數(shù)據(jù)為n = 442名糖尿病患者中的每個(gè)人獲得了10個(gè)基線變量、年齡、性別、體重指數(shù)、平均血壓和6個(gè)血清測(cè)量值，以及感興趣的反應(yīng)，即一年后疾病進(jìn)展的定量測(cè)量。"

接下來(lái)，加載包用來(lái)實(shí)現(xiàn)LASSO。

head(data)

向下滑動(dòng)查看結(jié)果▼

練習(xí)2

數(shù)據(jù)集有三個(gè)矩陣x、x2和y。x是較小的自變量集，而x2包含完整的自變量集以及二次和交互項(xiàng)。
檢查每個(gè)預(yù)測(cè)因素與因變量的關(guān)系。生成單獨(dú)的散點(diǎn)圖，所有預(yù)測(cè)因子的最佳擬合線在x中，y在縱軸上。用一個(gè)循環(huán)來(lái)自動(dòng)完成這個(gè)過(guò)程。

summary(x)

for(i?in?1:10){ ??plot(x[,i],?y) ??abline(lm(y~x[,i]) }

向下滑動(dòng)查看結(jié)果▼

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

基于R語(yǔ)言實(shí)現(xiàn)LASSO回歸分析

左右滑動(dòng)查看更多

01

02

03

04

練習(xí)3

使用OLS將y與x中的預(yù)測(cè)因子進(jìn)行回歸。我們將用這個(gè)結(jié)果作為比較的基準(zhǔn)。

lm(y?~?x)

向下滑動(dòng)查看結(jié)果▼

練習(xí)4

繪制x的每個(gè)變量系數(shù)與β向量的L1準(zhǔn)則的路徑。該圖表明每個(gè)系數(shù)在哪個(gè)階段縮減為零。

plot(model_lasso)

向下滑動(dòng)查看結(jié)果▼

練習(xí)5

得到交叉驗(yàn)證曲線和最小化平均交叉驗(yàn)證誤差的lambda的值。

plot(cv_fit)

向下滑動(dòng)查看結(jié)果▼

練習(xí)6

使用上一個(gè)練習(xí)中的lambda的最小值，得到估計(jì)的β矩陣。注意，有些系數(shù)已經(jīng)縮減為零。這表明哪些預(yù)測(cè)因子在解釋y的變化方面是重要的。

>?fit$beta

向下滑動(dòng)查看結(jié)果▼

練習(xí)7

為了得到一個(gè)更簡(jiǎn)明的模型，我們可以使用一個(gè)更高的λ值，即在最小值的一個(gè)標(biāo)準(zhǔn)誤差之內(nèi)。用這個(gè)lambda值來(lái)得到β系數(shù)。注意，現(xiàn)在有更多的系數(shù)被縮減為零。

lambda.1se

beta

向下滑動(dòng)查看結(jié)果▼

練習(xí)8

如前所述，x2包含更多的預(yù)測(cè)因子。使用OLS，將y回歸到x2，并評(píng)估結(jié)果。

summary(ols2)

向下滑動(dòng)查看結(jié)果▼

練習(xí)9

對(duì)新模型重復(fù)練習(xí)-4。

lasso(x2,?y)plot(model_lasso1)

向下滑動(dòng)查看結(jié)果▼

練習(xí)10

對(duì)新模型重復(fù)練習(xí)5和6，看看哪些系數(shù)被縮減為零。當(dāng)有很多候選變量時(shí)，這是縮小重要預(yù)測(cè)變量的有效方法。

plot(cv_fit1)

beta

向下滑動(dòng)查看結(jié)果▼

本文摘選?《?R語(yǔ)言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測(cè)模型?》?，點(diǎn)擊“閱讀原文”獲取全文完整資料。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

【視頻】Lasso回歸、嶺回歸正則化回歸數(shù)學(xué)原理及R軟件實(shí)例
群組變量選擇、組懲罰group lasso套索模型預(yù)測(cè)新生兒出生體重風(fēng)險(xiǎn)因素?cái)?shù)據(jù)和交叉驗(yàn)證、可視化
【視頻】Lasso回歸、嶺回歸等正則化回歸數(shù)學(xué)原理及R語(yǔ)言實(shí)例R語(yǔ)言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測(cè)模型
用LASSO，adaptive LASSO預(yù)測(cè)通貨膨脹時(shí)間序列MATLAB用Lasso回歸擬合高維數(shù)據(jù)和交叉驗(yàn)證
群組變量選擇、組懲罰group lasso套索模型預(yù)測(cè)新生兒出生體重風(fēng)險(xiǎn)因素?cái)?shù)據(jù)和交叉驗(yàn)證、可視化
高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)
Python高維變量選擇:SCAD平滑剪切絕對(duì)偏差懲罰、Lasso懲罰函數(shù)比較
R使用LASSO回歸預(yù)測(cè)股票收益
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測(cè)學(xué)生考試成績(jī)數(shù)據(jù)和交叉驗(yàn)證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語(yǔ)言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語(yǔ)言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語(yǔ)言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測(cè)學(xué)生考試成績(jī)數(shù)據(jù)和交叉驗(yàn)證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語(yǔ)言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語(yǔ)言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語(yǔ)言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
Python中LARS和Lasso回歸之最小角算法Lars分析波士頓住房數(shù)據(jù)實(shí)例
R語(yǔ)言自適應(yīng)LASSO 多項(xiàng)式回歸、二元邏輯回歸和嶺回歸應(yīng)用分析
R語(yǔ)言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
Python中的Lasso回歸之最小角算法LARS
r語(yǔ)言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語(yǔ)言實(shí)現(xiàn)LASSO回歸——自己編寫LASSO回歸算法
r語(yǔ)言中對(duì)LASSO回歸，Ridge嶺回歸和Elastic Net模型實(shí)現(xiàn)
R使用LASSO回歸預(yù)測(cè)股票收益
R語(yǔ)言如何和何時(shí)使用glmnet嶺回歸
R語(yǔ)言中的嶺回歸、套索回歸、主成分回歸：線性模型選擇和正則化
Python中的ARIMA模型、SARIMA模型和SARIMAX模型對(duì)時(shí)間序列預(yù)測(cè)
R語(yǔ)言arima，向量自回歸（VAR），周期自回歸(PAR)模型分析溫度時(shí)間序列
【視頻】Python和R語(yǔ)言使用指數(shù)加權(quán)平均(EWMA)，ARIMA自回歸移動(dòng)平均模型預(yù)測(cè)時(shí)間序列
Python用ARIMA和SARIMA模型預(yù)測(cè)銷量時(shí)間序列數(shù)據(jù)