線性回歸分析與SPSS實(shí)例分析其一：模型/估計(jì)/檢驗(yàn)

2023-09-07 21:13 作者:蓮子下摸魚(yú) 0人讀過(guò) | 我要投稿

一元/多元回歸分析模型及其參數(shù)估計(jì)、假設(shè)檢驗(yàn)：

? 一元回歸分析模型

即:??

? ? ? ? ? ? ? ? ? ? ? ? $Y%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_1X_i%20%2B%5Cvarepsilon_i(%E8%AF%AF%E5%B7%AE%E9%A1%B9)$

? ? ? ? ? ? ? ? ? ? ? ? $(x_i%2Cy_i)%E6%98%AF(X%2CY)%E7%9A%84%E7%AC%ACi%E4%B8%AA%E8%A7%82%E6%B5%8B%E5%80%BC$

? 回歸參數(shù)的估計(jì):?通常有兩種估計(jì)方法1.普通最小二乘估計(jì)，2.極大似然估計(jì)（省略）

一.普通最小二乘估計(jì)(OLSE)

? 我們對(duì)每個(gè)樣本單位，都考慮觀測(cè)值 $y_i$ 與其平均值 $%5Cbeta_0%2B%5Cbeta_1x_i$ 的離差?；貧w模型越接近所得樣本數(shù)據(jù)，意為該離差越小。所以我們使各個(gè)離差進(jìn)行平方處理。

?? $Q(%5Cbeta_0%2C%5Cbeta_1)%20%3D%20%5Csum_%7Bi%3D1%7D%5En%5By_i-E(Y_i%7Cx_i)%5D%5E2%20%3D%20%5Csum_%7Bi%3D1%7D%5En%20(y_i%20-%20%5Cbeta_0%2B%5Cbeta_1x_1)%5E2$

根據(jù)微積分知識(shí)推導(dǎo)(過(guò)程省略)：

$%5Chat%7B%5Cbeta_1%7D%3D%20%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5En(x_i-%5Cbar%7Bx%7D%20)(y_i-%5Cbar%7By%7D)%20%7D%7B%5Csum_%7Bi%3D1%7D%5En(x_i-%5Cbar%7Bx%7D)%5E2%20%7D%20%20$ ? ? ? $%5Chat%7B%5Cbeta_0%7D%20%20%3D%20%5Cbar%7By%7D-%5Chat%7B%5Cbeta_1%7D%5Cbar%7Bx%7D$

由此得出的最小二乘估計(jì)代入回歸函數(shù)，即得回歸方程? $%5Chat%7By_i%7D%3D%20%5Chat%7B%5Cbeta_0%7D%2B%5Chat%7B%5Cbeta_1%7Dx_1$

而 $%5Chat%7By_i%7D$ 是在給定的 $x_i$ 的條件下的估計(jì)值，稱為因變量擬合值。

所以定義因變量的觀察值與擬合值之間的離差 $y_i-%5Chat%7By_i%7D$ 為殘差。?

??在得到回歸方程后再對(duì)數(shù)據(jù)的殘差進(jìn)行分析，推斷回歸分析的基本假定是否成立。

經(jīng)典的回歸分析假定:

$E(%5Cvarepsilon_i%7CX_i%20)%20%3D%200%20%E4%B8%94E(Y_i%7CX_i)%3D%5Cbeta_0%2B%5Cbeta_1X_i%0A$ ;

$Var(%5Cvarepsilon_i%7CX_i%20)%3DVar(Y_i%7CX_i)%3D%5Csigma%5E2$ ;

$i%5Cneq%20j%E6%97%B6%2CCov(%5Cvarepsilon_i%2C%20%5Cvarepsilon_j%20)%3DCov(Y_i%2CY_j)%3D0$ ;

$%5Cvarepsilon%20_i%20%5Csim%20N(0%2C%5Csigma%5E2)%20%2CY_i%20%5Csim%20N(%5Cbeta_0%2B%5Cbeta_1X_i%2C%5Csigma%5E2)$

回歸分析的假設(shè)檢驗(yàn)與擬合優(yōu)度

在獲得回歸系數(shù)后，還要運(yùn)用統(tǒng)計(jì)方法對(duì)回歸系數(shù)進(jìn)行顯著性檢驗(yàn)，對(duì)回歸方程的擬合效果進(jìn)行評(píng)估。

(補(bǔ)充)顯著性:是指零假設(shè)為真的情況下拒絕零假設(shè)所要承擔(dān)的風(fēng)險(xiǎn)水平，又叫概率水平，或者顯著水平

? t檢驗(yàn)

$%E5%8E%9F%E5%81%87%E8%AE%BEH_0%20%3A%5Cbeta_1%20%3D%200%20%2C%E5%A4%87%E6%8B%A9%E5%81%87%E8%AE%BEH_1%3A%5Cbeta_1%5Cneq%200$ ? 原假設(shè)成立則代表Y與X并無(wú)線性關(guān)系。即是X對(duì)Y的顯著不為0。

? ? ? t檢驗(yàn)中我們選擇統(tǒng)計(jì)量 t ，我們給定顯著性水平為 $%5Calpha%20$ ,則雙側(cè)檢驗(yàn)的臨界值為 $t_%7B%5Calpha%2F2%7D$ 。

每當(dāng) $%7Ct%7C%5Cgeq%20t_%7B%5Calpha%2F2%7D$ 時(shí)，拒絕原假設(shè)，認(rèn)為 $%5Cbeta_1$ 顯著不為0，一元線性回歸成立。反之，不能拒絕原假設(shè)，一元線性回歸不成立。

?F檢驗(yàn)

得到回歸方程后，我們使用得到的數(shù)據(jù)分別計(jì)算出SSR，SSE，SST

總平方和: $SST%20%3D%20%5Csum_%7Bi%3D1%7D%5En(y_i-%5Cbar%7By%7D)%5E2$ ?可以反映因變量y總體的波動(dòng)程度，類(lèi)似于方差。

回歸平方和: $SSR%20%3D%20%5Csum_%7Bi%3D1%7D%5En(%5Chat%7By_i%7D-%5Cbar%7By%7D)%5E2$ ?由回歸方程確定的，自變量x波動(dòng)所引力的因變量波動(dòng)。

殘差平方和: $SSE%20%3D%20%5Csum_%7Bi%3D1%7D%5En(y_i-%5Chat%7By_i%7D)%5E2$ ?外部影響，與X無(wú)關(guān)且無(wú)法控制的因素。

對(duì)上述三個(gè)平方和整理可以發(fā)現(xiàn): $SST%20%3DSSR%2BSSE$

由此，在正態(tài)性假設(shè)下，原假設(shè)成立時(shí)

$F%20%3D%20%5Cfrac%7BSSR%2F1%7D%7BSSE%2F(n-2)%7D%20$ 服從于分布 $F(1%2Cn-2)$ ,我們給定顯著性水平 $%5Calpha$ ,F檢驗(yàn)臨界值則為

$F_%5Calpha(1%2Cn-2)$ ，當(dāng) $F%5Cgeq%20F_%5Calpha(1%2Cn-2)$ 時(shí)，拒絕原假設(shè)，說(shuō)明回歸方程滿足線性關(guān)系，反之不滿足線性關(guān)系。

擬合優(yōu)度:

如何去確定回歸方程的效果好不好？有上述可以定義，在總平方和SST中，SSR的占比越大，而殘差平方和的占比越小，意為著不可控因素越小，所得數(shù)據(jù)的擬合度就越小，所以定義擬合優(yōu)度 $R%5E2%20%3D%20%5Cfrac%7BSSR%7D%7BSST%7D%20$ ?由此式，我們可以看出，如果 $R%5E2$ 越接近于1，說(shuō)明SSR的占比越大，意為著線性回歸的擬合優(yōu)度越大。

多元線性回歸分析(注:往后 '? 代表矩陣轉(zhuǎn)置)

上述同理，多元線性回歸分析模型設(shè)為

$Y_i%20%3D%20%5Cbeta_0%20%2B%5Cbeta_1X_1%2B...%2B%5Cbeta_kX_k%20%2B%20%5Cvarepsilon_i$

矩陣形式

$%5Cbegin%7Bpmatrix%7D%0A%20Y_1%5C%5C%0A%20Y_2%5C%5C%0A%20Y_3%5C%5C%0A%20...%5C%5C%0A%20Y_n%5C%5C%0A%0A%5Cend%7Bpmatrix%7D_%7Bn%20%5Ctimes%201%7D%3D%5Cbegin%7Bpmatrix%7D%0A%20%201%26%20%20X_%7B11%7D%26%20%20..%26%20%20X_%7B1k%7D%26%20%5C%5C%0A%20%201%26%20%20X_%7B21%7D%26%20%20..%26%20%20X_%7B2k%7D%26%20%5C%5C%0A%20%201%26%20%20X_%7B31%7D%26%20%20..%26%20%20X_%7B3k%7D%26%20%5C%5C%0A%20%20..%26%20..%20%26%20..%20%26%20..%20%26%20%5C%5C%0A%20%201%26%20%20X_%7Bn1%7D%26%20..%20%26%20%20X_%7Bnk%7D%0A%5Cend%7Bpmatrix%7D_%7Bn%20%5Ctimes%20(k%2B1)%7D%5Cbegin%7Bpmatrix%7D%0A%20%5Cbeta_0%5C%5C%0A%20%5Cbeta_1%5C%5C%0A%20%5Cbeta_2%5C%5C%0A%20...%5C%5C%0A%20%5Cbeta_k%5C%5C%0A%0A%5Cend%7Bpmatrix%7D_%7B(k%2B1)%5Ctimes1%7D%2B%5Cbegin%7Bpmatrix%7D%0A%20%5Cvarepsilon_1%20%5C%5C%0A%20%5Cvarepsilon_2%5C%5C%0A%20%5Cvarepsilon_3%5C%5C%0A%20...%5C%5C%0A%20%5Cvarepsilon_n%5C%5C%0A%0A%5Cend%7Bpmatrix%7D_%7Bn%20%5Ctimes1%7D$

在多元回歸模型中， $%5Cvarepsilon%20$ 作為隨機(jī)向量，在給定X的情況下，我們?nèi)ゼ俣?/p>

$E(%5Cvarepsilon%20%7CX)%20%3D%200%20%E5%90%8C%E6%97%B6Var(%5Cvarepsilon%20%7CX)%3D%5Csigma%5E2I$ 也就是隨機(jī)向量服從與多元正態(tài)分布 $%5Cvarepsilon%20%5Csim%20N(O%2C%5Csigma%5E2I)$

因?yàn)閅與 $%5Cvarepsilon%20$ 有關(guān) $Y%20%3D%20X%5Cbeta%2B%5Cvarepsilon%20$ ，我們可以推導(dǎo)出Y的均值以及協(xié)方差矩陣:

$E(Y%7CX)%3DE(X%5Cbeta%2B%5Cvarepsilon%20)%3DX%5Cbeta%2BE(%5Cvarepsilon%7CX)%3DX%5Cbeta$

$Var(Y%7CX)%3DE((Y-%5Cmu_Y)(Y-%5Cmu_Y)')$ ??

$(Y-%5Cmu_Y)(Y-%5Cmu_Y)'$

$%3D%5Cbegin%7Bpmatrix%7D%0A%20(Y_1-%5Cmu_Y)%5E2%20%26%20(Y_1-%5Cmu_Y)(Y_2-%5Cmu_Y)%20%26%20%5Cdots%20%20%26%20%5Cdots%20%26%20(Y_1-%5Cmu_Y)(Y_n-%5Cmu_Y)%26%5C%5C%0A%20%20(Y_1-%5Cmu_Y)(Y_2-%5Cmu_Y)%26%20(Y_2-%5Cmu_Y)%5E2%20%26%20%20%5Cdots%26%20%20%5Cdots%26%20%5Cvdots%20%26%5C%5C%0A%20%20%5Cvdots%26%20%5Cvdots%20%20%26%20%20%20(Y_3-%5Cmu_Y)%5E2%26%20%26%5Cvdots%26%5C%5C%0A%20%20%5Cvdots%26%20%5Cvdots%20%26%20%20%20%26%20%5Cddots%26%20%5Cvdots%26%5C%5C%0A%20%20(Y_1-%5Cmu_Y)(Y_n-%5Cmu_Y)%26%20%20(Y_2-%5Cmu_Y)(Y_n-%5Cmu_Y)%26%20%20%5Cdots%26%20%20%5Cdots%26%20(Y_n-%5Cmu_Y)%5E2%20%26%0A%5Cend%7Bpmatrix%7D$

$%5Cbecause%20E((Y_i-%5Cmu_Y)(Y_j-%5Cmu_Y))%3D0%20(i%5Cneq%20j%20%2Ci%2Cj%3D1%2C2%2C..%2Cn)$

$E(%5Cvarepsilon_i%7CX)%3D0%EF%BC%8CVar(%5Cvarepsilon_i%7CX)%3D%5Csigma%5E2$

$E(Y_i-%5Cmu_Y)%5E2%20%3D%20E(%5Cvarepsilon_i%5E2%7CX%20)%20%3D%20(E(%5Cvarepsilon%20_i%7CX))%5E2%2BVar(%5Cvarepsilon%20_i%7CX)%3D%5Csigma%5E2$

我們可以得出

$Var(Y%7CX)%20%3D%20%5Csigma%5E2%20I$ ，可以發(fā)現(xiàn)Y依然服從與一個(gè)多元正態(tài)分布 $N(X%5Cbeta%2C%5Csigma%5E2I)$

與一元回歸的操作類(lèi)似，我們依然使用最小二乘法來(lái)估計(jì) $%5Cbeta$ ,求解 $Q(%5Cbeta)%20%3D%20(Y-X%5Cbeta)(Y-X%5Cbeta)'$ 達(dá)到最小值時(shí)的 $%5Cbeta$

由矩陣最小二乘法公式計(jì)算可得(過(guò)程省略)

$%5Cbeta$ 的最小二乘估計(jì)b

$b%20%3D%20(b_0%2Cb_1%2C...%2Cb_k)'%3D(%5Chat%5Cbeta_0%2C%5Chat%5Cbeta_1%2C...%2C%5Chat%5Cbeta_k)'$

$%20%3D%20(X'X)%5E%7B-1%7DX'Y$

記殘差 $e%20%3D%20Y-%20%5Chat%20Y%20%3D%20Y-Xb$ ? ，由此得殘差平方和 $SSE%3Dee'%20%3D%20(Y-Xb)'(Y-Xb)$

由此基礎(chǔ)之上就可以得到關(guān)于 $%5Csigma%5E2$ 的估計(jì) $%5Chat%7B%5Csigma%5E2%7D%20%3D%20%5Cfrac%7BSSE%7D%7Bn-k-1%7D%20$

假設(shè)檢驗(yàn):

在我們?cè)O(shè)立了模型，并且對(duì)參數(shù)進(jìn)行估計(jì)之后，便要對(duì)所得回歸方程進(jìn)行顯著性檢驗(yàn)。

$H_0%3A%5Cbeta%3DO_%7B(k%2B1)%5Ctimes1%20%7D$ ， $%E5%A4%87%E6%8B%A9%E5%81%87%E8%AE%BEH_1%3A%5Cbeta_i%E4%B9%8B%E4%B8%AD%E8%87%B3%E5%B0%91%E6%9C%89%E4%B8%80%E4%B8%AA%E4%B8%8D%E4%B8%BA0$

分別對(duì)回歸、殘差、總計(jì)平方和，即SSR、SSE、SST整理我們可以知道

$SSR%20%3D%20b'x'y%20(%E8%87%AA%E7%94%B1%E5%BA%A6k)$ ?? $SSE%20%3D%20e'e(%E8%87%AA%E7%94%B1%E5%BA%A6n-k-1)$ ?? $SST%20%3D%20y'y(%E8%87%AA%E7%94%B1%E5%BA%A6n-1)$

我們給定顯著性水平 $%5Calpha$

F = MSR/MSE? 若得 $F%20%3E%20F_%7B%5Calpha%7D(k%2Cn-k-1)$ 則拒絕原假設(shè),證明方程回歸系數(shù)不全為0，方程整體具有顯著性。

多元線性回歸分析中對(duì)單個(gè)回歸系數(shù)的顯著性檢驗(yàn)

$H_0%20%3A%20%5Cbeta_i%20%3D%200$ ? ? $H_1%3A%20%5Cbeta_i%20%5Cneq%200$ (i=0,1,2,...,k)。

對(duì)這一類(lèi)問(wèn)題的假設(shè)檢驗(yàn)，若 $%5Cbeta_4%20$ 接受了原假設(shè)，則表面該回歸系數(shù)可以看作0，我們可以考慮直接在回歸方程中將項(xiàng) $%5Cbeta_4X_4$ 去掉，認(rèn)為該項(xiàng)對(duì)Y沒(méi)有影響。

作用:對(duì)單個(gè)回歸系數(shù)的顯著性檢驗(yàn)有注意簡(jiǎn)化我們的整個(gè)回歸模型。

對(duì)多元?dú)w回分析的擬合效果評(píng)估:調(diào)整后的樣本決定系數(shù)

在一元回歸分析中樣本決定系數(shù) $R%5E2%20$ 在0到1之間，但是在多元回歸分析中由于自變量的增加， $R%5E2$ 也會(huì)不可避免的增加，所以自變量越多(即便引入的變量其實(shí)與Y無(wú)關(guān))，意味著 $R%5E2$ 也越大。應(yīng)此，我們要對(duì)樣本決定系數(shù)進(jìn)行修正.

其計(jì)算公式:? $Adj.R%5E2%20%3D%201-%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5En(y_i-%5Chat%20y_i)%5E2%20%2F(n-k-1)%7D%7B%5Csum_%7Bi%3D1%7D%5En(y_i-%5Cbar%20%20y_i)%5E2%2F(n-1)%7D%20$

相關(guān)英語(yǔ)單詞:

最小二乘估計(jì)： ordinary least square estimation, OLSE

因變量/響應(yīng)變量：dependent variable / response variable

自變量/解釋變量：independent variable / explanatory variable

變量/雙變量: variable / bivariable (n.變量 adj,多變的，可變的)

線性回歸模型: linear regression model

regression n.回歸，倒退，退化

analyze v.分析/研究，解析，分解

參數(shù)/回歸系數(shù): regression parameters / regression coeffi-cient

殘差：residual

其二:基于SPSS的應(yīng)用實(shí)例與分析

標(biāo)簽：

最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

線性回歸分析與SPSS實(shí)例分析其一：模型/估計(jì)/檢驗(yàn)

一元/多元回歸分析模型及其參數(shù)估計(jì)、假設(shè)檢驗(yàn)：

? t檢驗(yàn)

?F檢驗(yàn)

擬合優(yōu)度: