R語言機(jī)器學(xué)習(xí)實(shí)戰(zhàn)之多項(xiàng)式回歸
原文鏈接：http://tecdat.cn/?p=2686
原文出處：拓端數(shù)據(jù)部落公眾號(hào)
如果數(shù)據(jù)比簡(jiǎn)單的直線更為復(fù)雜，我們也可以用線性模型來你和非線性數(shù)據(jù)。一個(gè)簡(jiǎn)單的方法就是將每一個(gè)特征的冪次方添加為一個(gè)新的特征，然后在這個(gè)拓展的特征集上進(jìn)行線性擬合，這種方法成為多項(xiàng)式回歸。
回歸分析的目標(biāo)是根據(jù)自變量（或自變量向量）x 的值來模擬因變量 y 的期望值。在簡(jiǎn)單的線性回歸中，使用模型
其中ε是未觀察到的隨機(jī)誤差，其以標(biāo)量 x 為條件，均值為零。在該模型中，對(duì)于 x 值的每個(gè)單位增加，y 的條件期望增加?β1β1個(gè)單位。
在許多情況下，這種線性關(guān)系可能不成立。例如，如果我們根據(jù)合成發(fā)生的溫度對(duì)化學(xué)合成的產(chǎn)率進(jìn)行建模，我們可以發(fā)現(xiàn)通過增加每單位溫度增加的量來提高產(chǎn)率。在這種情況下，我們可能會(huì)提出如下所示的二次模型：
通常，我們可以將 y 的期望值建模為 n 次多項(xiàng)式，得到一般多項(xiàng)式回歸模型：
為了方便，這些模型從估計(jì)的角度來看都是線性的，因?yàn)榛貧w函數(shù)就未知參數(shù)β0β0、β1β1等而言是線性的。因此，對(duì)于最小二乘分析，多項(xiàng)式回歸的計(jì)算和推理問題可以使用多元回歸技術(shù)完全解決，這是通過將?xx、x2x2?等視為多元回歸模型中的獨(dú)特自變量來完成的。
?擬合R語言中的多項(xiàng)式回歸
讓我們看一個(gè)經(jīng)濟(jì)學(xué)的例子：假設(shè)你想購(gòu)買一定數(shù)量q的特定產(chǎn)品。如果單價(jià)是p，那么你會(huì)支付總金額y。這是一個(gè)線性關(guān)系的典型例子?？們r(jià)格和數(shù)量成正比。?
?
?
如下所示：
但購(gòu)買和出售，我們可能要考慮一些其他相關(guān)信息，就像當(dāng)：購(gòu)買顯著數(shù)量很可能是我們可以要求并獲得折扣，或購(gòu)買更多更重要的是我們可能會(huì)推高價(jià)格。
這可能導(dǎo)致像這樣的情況，其中總成本不再是數(shù)量的線性函數(shù)：
?
通過多項(xiàng)式回歸，我們可以將n階模型擬合到數(shù)據(jù)上，并嘗試對(duì)非線性關(guān)系進(jìn)行建模。
如何擬合多項(xiàng)式回歸
這是我們模擬觀測(cè)數(shù)據(jù)的圖。模擬的數(shù)據(jù)點(diǎn)是藍(lán)色的點(diǎn)，而紅色的線是信號(hào)（信號(hào)是一個(gè)技術(shù)術(shù)語，通常用于表示我們感興趣檢測(cè)的總體趨勢(shì)）。
?
讓我們用R來擬合。當(dāng)擬合多項(xiàng)式時(shí)，您可以使用
?lm（noisy.y?poly（q，3））
通過使用該confint()函數(shù)，我們可以獲得我們模型參數(shù)的置信區(qū)間。
模型參數(shù)的置信區(qū)間：
confint（model，level = 0.95）
擬合vs殘差圖
總的來說，這個(gè)模型似乎很適合，因?yàn)镽的平方為0.8。正如我們所預(yù)期的那樣，一階和三階項(xiàng)的系數(shù)在統(tǒng)計(jì)上顯著。
預(yù)測(cè)值和置信區(qū)間?
將線添加到現(xiàn)有圖中：
我們可以看到，我們的模型在擬合數(shù)據(jù)方面做得不錯(cuò)。
參考文獻(xiàn)
1.R語言多元Logistic邏輯回歸 應(yīng)用案例
2.面板平滑轉(zhuǎn)移回歸(PSTR)分析案例實(shí)現(xiàn)
3.matlab中的偏最小二乘回歸（PLSR）和主成分回歸（PCR）
4.R語言泊松Poisson回歸模型分析案例
5.R語言回歸中的Hosmer-Lemeshow擬合優(yōu)度檢驗(yàn)
6.r語言中對(duì)LASSO回歸，Ridge嶺回歸和Elastic Net模型實(shí)現(xiàn)
7.在R語言中實(shí)現(xiàn)Logistic邏輯回歸
8.python用線性回歸預(yù)測(cè)股票價(jià)格
9.R語言如何在生存分析與Cox回歸中計(jì)算IDI，NRI指標(biāo)
