原文鏈接：http://tecdat.cn/?p=9564

最近我們被客戶要求撰寫(xiě)關(guān)于多元回歸的研究報(bào)告，包括一些圖形和統(tǒng)計(jì)輸出。

我從馬里蘭州生物流調(diào)查中提取了一些數(shù)據(jù)，以進(jìn)行多元回歸分析。數(shù)據(jù)因變量是每75米長(zhǎng)的水流中長(zhǎng)鼻魚(yú)（Rhinichthys cataractae）的數(shù)量。自變量是河流流失的面積（英畝）；氧濃度（毫克/升）；水流段的最大深度（以厘米為單位）；硝酸鹽濃度（毫克/升）；硫酸鹽濃度（毫克/升）；以及采樣日期的水溫（以攝氏度為單位）

目錄

如何做多元回歸

逐步回歸選擇模型

逐步程序

定義最終模型

?方差分析

預(yù)測(cè)值圖

檢查模型的假設(shè)

模型擬合標(biāo)準(zhǔn)

將模型與似然比檢驗(yàn)進(jìn)行比較

?

如何做多元回歸

?

多重相關(guān)

數(shù)據(jù)集包含多個(gè)數(shù)值變量時(shí)，最好查看這些變量之間的相關(guān)性。原因之一是，可以輕松查看哪些自變量與該因變量相關(guān)。第二個(gè)原因是，如果要構(gòu)建多元回歸模型，則添加高度相關(guān)的自變量不太可能對(duì)模型有很大的改進(jìn)。

?

最后，值得看一下數(shù)字變量的分布。如果分布差異很大，則使用Kendall或Spearman相關(guān)性可能更合適。同樣，如果自變量與因變量的分布不同，則可能需要對(duì)自變量進(jìn)行轉(zhuǎn)換。

?

?

Data = read.table(textConnection(Input),header=TRUE)Data.num =? ?? select(Data, ????????? Longnose, ????????? Acerage, ????????? DO2, ????????? Maxdepth, ????????? NO3, ????????? SO4, ????????? Temp) headtail(Data.num) ?? Longnose Acerage? DO2 Maxdepth? NO3?? SO4 Temp 1??????? 13??? 2528? 9.6?????? 80 2.28 16.75 15.3 2??????? 12??? 3333? 8.5?????? 83 5.34? 7.74 19.4 3??????? 54?? 19611? 8.3?????? 96 0.99 10.92 19.5 66?????? 20??? 4106 10.0?????? 96 2.62? 5.45 15.4 67?????? 38?? 10274? 9.3?????? 90 5.45 24.76 15.0 68?????? 19???? 510? 6.7?????? 82 5.25 14.19 26.5 corr.test(Data.num,? ????????? use = "pairwise", ????????? method="pearson", ????????? adjust="none", ????# 可以調(diào)整p值????????? alpha=.05) ? Correlation matrix ???????? Longnose Acerage?? DO2 Maxdepth?? NO3?? SO4? Temp Longnose???? 1.00??? 0.35? 0.14???? 0.30? 0.31 -0.02? 0.14 Acerage????? 0.35??? 1.00 -0.02???? 0.26 -0.10? 0.05? 0.00 DO2????????? 0.14?? -0.02? 1.00??? -0.06? 0.27 -0.07 -0.32 Maxdepth???? 0.30?? ?0.26 -0.06???? 1.00? 0.04 -0.05? 0.00 NO3????????? 0.31?? -0.10? 0.27???? 0.04? 1.00 -0.09? 0.00 SO4???????? -0.02??? 0.05 -0.07??? -0.05 -0.09? 1.00? 0.08 Temp???????? 0.14??? 0.00 -0.32???? 0.00? 0.00? 0.08? 1.00 Sample Size ? Probability values (Entries above the diagonal are adjusted for multiple tests.) ???????? Longnose Acerage? DO2 Maxdepth? NO3? SO4 Temp Longnose???? 0.00??? 0.00 0.27???? 0.01 0.01 0.89 0.26 Acerage????? 0.00??? 0.00 0.86???? 0.03 0.42 0.69 0.98 DO2????????? 0.27??? 0.86 0.00???? 0.64 0.02 0.56 0.01 Maxdepth???? 0.01??? 0.03 0.64???? 0.00 0.77 0.69 0.97 NO3????????? 0.01??? 0.42 0.02???? 0.77 0.00 0.48 0.99 SO4????????? 0.89??? 0.69 0.56???? 0.69 0.48 0.00 0.52 Temp???????? 0.26??? 0.98 0.01???? 0.97 0.99 0.52 0.00 ? ?

?

?

?

?

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

R語(yǔ)言邏輯回歸(Logistic Regression)、回歸決策樹(shù)、隨機(jī)森林信用卡違約分析信貸數(shù)據(jù)集

左右滑動(dòng)查看更多

01

02

03

04

逐步回歸選擇模型

使用AIC（赤池信息標(biāo)準(zhǔn)）作為選擇標(biāo)準(zhǔn)?？梢允褂眠x項(xiàng)k = log（n）?代替BIC。?

?

逐步程序

Longnose ~ 1 ?????????? Df Sum of Sq??? RSS??? AIC+ Acerage?? 1?? 17989.6 131841 518.75+ NO3?????? 1?? 14327.5 135503 520.61+ Maxdepth? 1?? 13936.1 135894 520.81<none>????????????????? 149831 525.45+ Temp????? 1??? 2931.0 146899 526.10+ DO2?????? 1??? 2777.7 147053 526.17+ SO4?????? 1????? 45.3 149785 527.43. . < snip... more steps > . . Longnose ~ Acerage + NO3 + Maxdepth ?????????? Df Sum of Sq??? RSS??? AIC <none>????????????????? 107904 509.13+ Temp????? 1??? 2948.0 104956 509.24+ DO2?????? 1???? 669.6 107234 510.70- Maxdepth? 1??? 6058.4 113962 510.84+ SO4?????? 1?????? 5.9 107898 511.12- Acerage?? 1?? 14652.0 122556 515.78- NO3?????? 1?? 16489.3 124393 516.80Call: lm(formula = Longnose ~ Acerage + NO3 + Maxdepth, data = Data) Coefficients: (Intercept)????? Acerage????????? NO3???? Maxdepth? ?-23.829067???? 0.001988???? 8.673044???? 0.336605?

?

?

定義最終模型

?

summary(model.final)??????# 顯示系數(shù)，R平方和總體p值 ????????????? Estimate Std. Error t value Pr(>|t|)?? (Intercept) -2.383e+01? 1.527e+01? -1.560? 0.12367?? Acerage????? 1.988e-03? 6.742e-04?? 2.948? 0.00446 ** Maxdepth???? 3.366e-01? 1.776e-01?? 1.896? 0.06253 . NO3???? ?????8.673e+00? 2.773e+00?? 3.127? 0.00265 ** Multiple R-squared:? 0.2798,? Adjusted R-squared:? 0.2461F-statistic: 8.289 on 3 and 64 DF,? p-value: 9.717e-05

?

?方差分析

?

Anova Table (Type II tests) Response: Longnose ????????? Sum Sq Df F value?? Pr(>F)?? Acerage??? 14652? 1? 8.6904 0.004461 ** Maxdepth??? 6058? 1? 3.5933 0.062529 . NO3??????? 16489? 1? 9.7802 0.002654 ** Residuals 107904 64

?

預(yù)測(cè)值圖

?

**

?

**

檢查模型的假設(shè)

?

?

線性模型中殘差的直方圖。這些殘差的分布應(yīng)近似正態(tài)。

?

?

?

?

?

殘差與預(yù)測(cè)值的關(guān)系圖。殘差應(yīng)無(wú)偏且均等。?

?

?

?????????????

?

模型擬合標(biāo)準(zhǔn)

模型擬合標(biāo)準(zhǔn)可用于確定最合適的模型。使用AIC或可選的BIC。AICc是對(duì)AIC的一種調(diào)整，它更適合于觀測(cè)值相對(duì)較少的數(shù)據(jù)集。AIC，AICc和BIC越小越好。

?

在下面的例子中，我們只討論了顯著相關(guān)的種植面積，MAXDEPTH和NO3?。?

$Models?? Formula???????????????????????????????????? 1? "Longnose ~ Acerage"??????????????????????? 2? "Longnose ~ Maxdepth"?????????????????????? 3? "Longnose ~ NO3"??????????????????????????? 4? "Longnose ~ Acerage + Maxdepth"???????????? 5? "Longnose ~ Acerage + NO3"????????????????? 6? "Longnose ~ Maxdepth + NO3"???????????????? 7? "Longnose ~ Acerage + Maxdepth + NO3"?????? 8? "Longnose ~ Acerage + Maxdepth + NO3 + DO2"9? "Longnose ~ Acerage + Maxdepth + NO3 + SO4"10 "Longnose ~ Acerage + Maxdepth + NO3 + Temp"??$Fit.criteria ?? Rank Df.res?? AIC? AICc?? BIC R.squared Adj.R.sq?? p.value Shapiro.W Shapiro.p 1???? 2???? 66 713.7 714.1 720.4?? 0.12010? 0.10670 3.796e-03??? 0.7278 6.460e-10 2???? 2???? 66 715.8 716.2 722.4?? 0.09301? 0.07927 1.144e-02??? 0.7923 2.115e-08 3???? 2???? 66 715.6 716.0 722.2?? 0.09562? 0.08192 1.029e-02??? 0.7361 9.803e-10 4???? 3???? 65 711.8 712.4 720.6?? 0.16980? 0.14420 2.365e-03??? 0.7934 2.250e-08 5???? 3???? 65 705.8 706.5 714.7?? 0.23940? 0.21600 1.373e-04??? 0.7505 2.055e-09 6???? 3???? 65 710.8 711.4 719.6?? 0.18200? 0.15690 1.458e-03??? 0.8149 8.405e-08 7???? 4???? 64 704.1 705.1 715.2?? 0.27980? 0.24610 9.717e-05??? 0.8108 6.511e-08 8???? 5???? 63 705.7 707.1 719.0?? 0.28430? 0.23890 2.643e-04??? 0.8041 4.283e-08 9???? 5???? 63 706.1 707.5 719.4?? 0.27990? 0.23410 3.166e-04??? 0.8104 6.345e-08 10??? 5???? 63 704.2 705.6 717.5?? 0.29950? 0.25500 1.409e-04??? 0.8225 1.371e-07

?

幾個(gè)模型的AICc（修改后的Akaike信息標(biāo)準(zhǔn)）圖。模型7最小化了AICc，因此被選為該模型中的最佳模型。

?

?

將模型與似然比檢驗(yàn)進(jìn)行比較

將模型與 平方和檢驗(yàn)或似然比檢驗(yàn)進(jìn)行比較，以查看是否有其他項(xiàng)顯著減少平方誤差和 。

Analysis of Variance TableModel 1: Longnose ~ Acerage + Maxdepth + NO3Model 2: Longnose ~ Acerage + Maxdepth? Res.Df??? RSS Df Sum of Sq????? F?? Pr(>F)??1???? 64 107904???????????????????????????????2???? 65 124393 -1??? -16489 9.7802 0.002654 **Likelihood ratio testModel 1: Longnose ~ Acerage + Maxdepth + NO3Model 2: Longnose ~ Acerage + Maxdepth? #Df? LogLik Df? Chisq Pr(>Chisq)??1?? 5 -347.05???????????????????????2?? 4 -351.89 -1 9.6701?? 0.001873 **Model 1: Longnose ~ Acerage + Maxdepth + NO3 + DO2Model 2: Longnose ~ Acerage + Maxdepth + NO3 + SO4Model 3: Longnose ~ Acerage + Maxdepth + NO3 + TempModel A: Longnose ~ Acerage + Maxdepth + NO3??? DfO????? RSSO DfA????? RSSA Df??????? SS????? F Pr(>F)1vA? 63 107234.38? 64 107903.97 -1?? -669.59 0.3934 0.53282vA? 63 107898.06? 64 107903.97 -1???? -5.91 0.0035 0.95333vA? 63 104955.97? 64 107903.97 -1? -2948.00 1.7695 0.1882Model 1: Longnose ~ Acerage + Maxdepth + NO3 + DO2Model 2: Longnose ~ Acerage + Maxdepth + NO3 + SO4Model 3: Longnose ~ Acerage + Maxdepth + NO3 + TempModel A: Longnose ~ Acerage + Maxdepth + NO3??? DfO??? logLikO DfA??? logLikA Df???? logLik? Chisq Pr(>Chisq)1vA? 63 -346.83881? 64 -347.05045 -1??? 0.21164 0.4233???? 0.51532vA? 63 -347.04859? 64 -347.05045 -1??? 0.00186 0.0037???? 0.95133vA? 63 -346.10863? 64 -347.05045 -1??? 0.94182 1.8836???? 0.1699

?

點(diǎn)擊文末?“閱讀原文”

獲取全文完整代碼數(shù)據(jù)資料。

本文選自《R語(yǔ)言逐步多元回歸模型分析長(zhǎng)鼻魚(yú)密度影響因素》。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

PYTHON用戶流失數(shù)據(jù)挖掘：建立邏輯回歸、XGBOOST、隨機(jī)森林、決策樹(shù)、支持向量機(jī)、樸素貝葉斯和KMEANS聚類(lèi)用戶畫(huà)像
Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷(xiāo)售量時(shí)間序列建模預(yù)測(cè)分析
PYTHON集成機(jī)器學(xué)習(xí)：用ADABOOST、決策樹(shù)、邏輯回歸集成模型分類(lèi)和回歸和網(wǎng)格搜索超參數(shù)優(yōu)化
R語(yǔ)言集成模型：提升樹(shù)boosting、隨機(jī)森林、約束最小二乘法加權(quán)平均模型融合分析時(shí)間序列數(shù)據(jù)
Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷(xiāo)售量時(shí)間序列建模預(yù)測(cè)分析
R語(yǔ)言用主成分PCA、?邏輯回歸、決策樹(shù)、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
R語(yǔ)言基于樹(shù)的方法：決策樹(shù)，隨機(jī)森林，Bagging，增強(qiáng)樹(shù)
R語(yǔ)言用邏輯回歸、決策樹(shù)和隨機(jī)森林對(duì)信貸數(shù)據(jù)集進(jìn)行分類(lèi)預(yù)測(cè)
spss modeler用決策樹(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)ST的股票
R語(yǔ)言中使用線性模型、回歸決策樹(shù)自動(dòng)組合特征因子水平
R語(yǔ)言中自編基尼系數(shù)的CART回歸決策樹(shù)的實(shí)現(xiàn)
R語(yǔ)言用rle，svm和rpart決策樹(shù)進(jìn)行時(shí)間序列預(yù)測(cè)
python在Scikit-learn中用決策樹(shù)和隨機(jī)森林預(yù)測(cè)NBA獲勝者
python中使用scikit-learn和pandas決策樹(shù)進(jìn)行iris鳶尾花數(shù)據(jù)分類(lèi)建模和交叉驗(yàn)證
R語(yǔ)言里的非線性模型：多項(xiàng)式回歸、局部樣條、平滑樣條、 廣義相加模型GAM分析
R語(yǔ)言用標(biāo)準(zhǔn)最小二乘OLS，廣義相加模型GAM?，樣條函數(shù)進(jìn)行邏輯回歸LOGISTIC分類(lèi)
R語(yǔ)言ISLR工資數(shù)據(jù)進(jìn)行多項(xiàng)式回歸和樣條回歸分析
R語(yǔ)言中的多項(xiàng)式回歸、局部回歸、核平滑和平滑樣條回歸模型
R語(yǔ)言用泊松Poisson回歸、GAM樣條曲線模型預(yù)測(cè)騎自行車(chē)者的數(shù)量
R語(yǔ)言分位數(shù)回歸、GAM樣條曲線、指數(shù)平滑和SARIMA對(duì)電力負(fù)荷時(shí)間序列預(yù)測(cè)R語(yǔ)言樣條曲線、決策樹(shù)、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類(lèi)和動(dòng)態(tài)可視化
如何用R語(yǔ)言在機(jī)器學(xué)習(xí)中建立集成模型？
R語(yǔ)言ARMA-EGARCH模型、集成預(yù)測(cè)算法對(duì)SPX實(shí)際波動(dòng)率進(jìn)行預(yù)測(cè)在python 深度學(xué)習(xí)Keras中計(jì)算神經(jīng)網(wǎng)絡(luò)集成模型R語(yǔ)言ARIMA集成模型預(yù)測(cè)時(shí)間序列分析R語(yǔ)言基于Bagging分類(lèi)的邏輯回歸(Logistic Regression)、決策樹(shù)、森林分析心臟病患者
R語(yǔ)言基于樹(shù)的方法：決策樹(shù)，隨機(jī)森林，Bagging，增強(qiáng)樹(shù)
R語(yǔ)言基于Bootstrap的線性回歸預(yù)測(cè)置信區(qū)間估計(jì)方法
R語(yǔ)言使用bootstrap和增量法計(jì)算廣義線性模型（GLM）預(yù)測(cè)置信區(qū)間
R語(yǔ)言樣條曲線、決策樹(shù)、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類(lèi)和動(dòng)態(tài)可視化
Python對(duì)商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷(xiāo)售量時(shí)間序列建模預(yù)測(cè)分析
R語(yǔ)言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測(cè)心臟病數(shù)據(jù)和可視化分析
R語(yǔ)言用主成分PCA、?邏輯回歸、決策樹(shù)、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
Matlab建立SVM，KNN和樸素貝葉斯模型分類(lèi)繪制ROC曲線
matlab使用分位數(shù)隨機(jī)森林（QRF）回歸樹(shù)檢測(cè)異常值