深度學(xué)習(xí)【DataCastle】第三屆廈門國(guó)際銀行數(shù)創(chuàng)金融杯金融營(yíng)銷建模大賽(結(jié)構(gòu)化數(shù)據(jù)挖
Lasso
接下來回顧的三個(gè)模型,Lasso、Ridge 和 ElasticNet,都使用 MLR 的相同基礎(chǔ)函數(shù)進(jìn)行預(yù)測(cè),但系數(shù)的估計(jì)方式不同。有 L1 和 L2 正則化參數(shù),用于減小系數(shù)的大小,從而減少過度擬合,并可導(dǎo)致更好的異常值的預(yù)測(cè)。在我們的案例中,這可能是一種很好的嘗試方法,因?yàn)?MLR 的樣本內(nèi) R2 得分為 95%,顯著大于樣本外 R2 的 76%,表明過度擬合。
有一個(gè)參數(shù)可以用套 Lasso 估計(jì)——L1 懲罰參數(shù)的大小,或alpha。我們可以通過對(duì)驗(yàn)證數(shù)據(jù)集進(jìn)行100個(gè) alpha 值的網(wǎng)格搜索來實(shí)現(xiàn)這一點(diǎn)。看起來是這樣的:
f.add_sklearn_estimator(Lasso,'lasso')f.set_estimator('lasso')lasso_grid = {'alpha':np.linspace(0,2,100)}f.ingest_grid(lasso_grid)f.tune()f.auto_forecast()
標(biāo)簽: