原文鏈接：http://tecdat.cn/?p=22273

如果你了解數(shù)據(jù)科學(xué)領(lǐng)域，你可能聽說過LASSO。LASSO是一個(gè)對(duì)目標(biāo)函數(shù)中的參數(shù)大小進(jìn)行懲罰的模型，試圖將不相關(guān)的變量從模型中排除

動(dòng)機(jī)

它有兩個(gè)非常自然的用途，第一個(gè)是變量選擇，第二個(gè)是預(yù)測(cè)。因?yàn)橥ǔＧ闆r下，LASSO選擇的變量會(huì)比普通最小二乘法（OLS）少得多，其預(yù)測(cè)的方差會(huì)小得多，代價(jià)是樣本中出現(xiàn)少量的偏差。

LASSO最重要的特點(diǎn)之一是它可以處理比觀測(cè)值多得多的變量，我說的是成千上萬的變量。這是它最近流行的主要原因之一。

實(shí)例

在這個(gè)例子中，我使用最流行的LASSO，glmnet。我們可以非?？焖俚毓烙?jì)LASSO，并使用交叉驗(yàn)證選擇最佳模型。根據(jù)我的經(jīng)驗(yàn)，在時(shí)間序列的背景下，使用信息準(zhǔn)則（如BIC）來選擇最佳模型會(huì)更好。它更快，并避免了時(shí)間序列中交叉驗(yàn)證的一些復(fù)雜問題。

本文估計(jì)LASSO，并使用信息標(biāo)準(zhǔn)來選擇最佳模型。我們將使用LASSO來預(yù)測(cè)通貨膨脹。

##?==?數(shù)據(jù)分解成樣本內(nèi)和樣本外y.in=y[1:100];?y.out=y[-c(1:100)]x.in=x[1:100,];?x.out=x[-c(1:100),]##?==?LASSO?==?##glmnet(x.in,y.in,crit?=?"bic")

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)

左右滑動(dòng)查看更多

01

02

03

04

plot(lasso)

上面的第一個(gè)圖顯示，當(dāng)我們?cè)黾覮ASSO目標(biāo)函數(shù)中的懲罰時(shí)，變量會(huì)歸零。第二張圖顯示了BIC曲線和選定的模型。現(xiàn)在我們可以計(jì)算預(yù)測(cè)了。

##?==?預(yù)測(cè)?==?##predict(lasso,x.out)

adaptive LASSO

LASSO有一個(gè)自適應(yīng)版本，在變量選擇方面有一些更好的特性。請(qǐng)注意，這并不總是意味著更好的預(yù)測(cè)。該模型背后的想法是使用一些以前知道的信息來更有效地選擇變量。一般來說，這些信息是由LASSO或其他一些模型估計(jì)的系數(shù)。

##?=?adaLASSO?=?##adalasso(x.in,y.in,crit="bic",penalty=factor) predict(adalasso,?x.out)

##?=?比較誤差?=?##sqrt(mean((y.out-pred.ada)^2)

在這種情況下，adaLASSO產(chǎn)生了一個(gè)更精確的預(yù)測(cè)。一般來說，adaLASSO比簡(jiǎn)單的LASSO的預(yù)測(cè)效果更好。然而，這不是一個(gè)絕對(duì)的事實(shí)。我見過很多簡(jiǎn)單LASSO做得更好的案例。

參考文獻(xiàn)

[1] Bühlmann, Peter, and Sara Van De Geer. Statistics for high-dimensional data: methods, theory and applications. Springer Science & Business Media, 2011.

[2] Jerome Friedman, Trevor Hastie, Robert Tibshirani (2010). Regularization Paths for
Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, 33(1), 1-22. URL?http://www.jstatsoft.org/v33/i01/

[3] Marcio Garcia, Marcelo C. Medeiros , Gabriel F. R. Vasconcelos (2017). Real-time inflation forecasting with high-dimensional models: The case of Brazil. Internationnal Journal of Forecasting, in press.

本文摘選?《?R語言用LASSO，adaptive LASSO預(yù)測(cè)通貨膨脹時(shí)間序列?》?，點(diǎn)擊“閱讀原文”獲取全文完整資料。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

MATLAB用Lasso回歸擬合高維數(shù)據(jù)和交叉驗(yàn)證
群組變量選擇、組懲罰group lasso套索模型預(yù)測(cè)新生兒出生體重風(fēng)險(xiǎn)因素?cái)?shù)據(jù)和交叉驗(yàn)證、可視化
高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)
Python高維變量選擇:SCAD平滑剪切絕對(duì)偏差懲罰、Lasso懲罰函數(shù)比較
R使用LASSO回歸預(yù)測(cè)股票收益
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測(cè)學(xué)生考試成績(jī)數(shù)據(jù)和交叉驗(yàn)證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測(cè)學(xué)生考試成績(jī)數(shù)據(jù)和交叉驗(yàn)證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
Python中LARS和Lasso回歸之最小角算法Lars分析波士頓住房數(shù)據(jù)實(shí)例
R語言自適應(yīng)LASSO 多項(xiàng)式回歸、二元邏輯回歸和嶺回歸應(yīng)用分析
R語言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
Python中的Lasso回歸之最小角算法LARS
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語言實(shí)現(xiàn)LASSO回歸——自己編寫LASSO回歸算法
r語言中對(duì)LASSO回歸，Ridge嶺回歸和Elastic Net模型實(shí)現(xiàn)
R使用LASSO回歸預(yù)測(cè)股票收益
R語言如何和何時(shí)使用glmnet嶺回歸
R語言中的嶺回歸、套索回歸、主成分回歸：線性模型選擇和正則化
Python中的ARIMA模型、SARIMA模型和SARIMAX模型對(duì)時(shí)間序列預(yù)測(cè)
R語言arima，向量自回歸（VAR），周期自回歸(PAR)模型分析溫度時(shí)間序列
【視頻】Python和R語言使用指數(shù)加權(quán)平均(EWMA)，ARIMA自回歸移動(dòng)平均模型預(yù)測(cè)時(shí)間序列
Python用ARIMA和SARIMA模型預(yù)測(cè)銷量時(shí)間序列數(shù)據(jù)