一、 目的，描述

探討自變量對因變量編譯的解釋和預測，有預先指定的明確的方向性

二、 回答的問題

四大類：驗證自對因的影響；檢驗單個（一組）自變量的重要性；建立預測模型；分析變量間的交互作用

十方面：

考察因與多個自變量間的關系強弱。

考察自變量重要性

考察增加自變量重要性

統(tǒng)計上預先控制協(xié)變量的影響。（協(xié)變量先進入）

基于假設需要定義變量影響順序。（序列回歸）

比較多組自變量的重要性

尋找最佳的預測模型（統(tǒng)計回歸）

新樣本上預測因變量分數(shù)（統(tǒng)計回歸）（交叉驗證）

重新定義自變量解釋非線性關系

同時處理分類自變量和連續(xù)自變量對因變量的影響（虛擬編碼）

三、 假設及模型

（一）假設

1. 2個或者以上的自變量以及一個因變量

2. 因變量正態(tài)分布

3. 線性關系

4. 變量的觀測彼此獨立

（二）多元回歸方程的建立

（三）方程參數(shù)估計

最小二乘法（殘差平方和最?。?/p>

四、 類型

（一） 標準多元回歸：同時進入、自變量間共同解釋的部分被排除，僅計算剩余部分

自變量相關高的時候要小心

（二） 序列回歸：指定順序、共同解釋的部分歸為先進入的變量

1、 最具理論重要性的先進入，保證最重要的變量最大解釋

2、 重要變量最后進入，控制變量先進入，控制協(xié)變量考察最感興趣的變量貢獻大?。愃茀f(xié)方差分析）

（三） 統(tǒng)計回歸：以統(tǒng)計標準決定進入順序、沒有考慮變量的意義和理論解釋部分

缺點：可能會使與因變量由高相關的自變量最后進入方程，并得到其貢獻最小結論

三種方式：向前選擇、向后選擇、逐步回歸

可以同時采用交叉驗證

（四） 比較：

目的：標準和統(tǒng)計回歸旨在探索和建立模型，序列在對模型有理論支持和驗證假設時使用

進入順序，可控性：標準一次全進，不可控；統(tǒng)計不可控；序列有研究者決定，最可控。

優(yōu)勢：標準體現(xiàn)單個自變量單獨貢獻；序列在某些自變量先進入下探索另一些自變量的貢獻；統(tǒng)計辨別多重共線性的變量。

五、 分析自變量的重要性

（一） 多元測定系數(shù)

1. 因變量編譯總平方和：回歸平方和以及殘差平方和。

2. 多元測定系數(shù)：回歸平方和與總平方和比值。表示回歸方程多大程度上解釋因變量的變異。如R方=0.64表示，回歸方程解釋因變量64%變異。

3. 算術平方根r稱復相關：表示y與x1…間線性相關程度。

（二） 調整多元測定系數(shù)

1. 當自變量個數(shù)增多，殘差平方和會減小，R方持續(xù)增大。

2. 當自變量與樣本量小于1：5時，用調整多元測定系數(shù)Radj方代替R方

（三） 偏相關系數(shù)

1. 定義：控制其他自變量后，y與x的相關，等于從y和x中都出去其他預測變量的影響后，y與x 的簡單相關。（控制變量的個數(shù)稱為階，如簡單相關沒有控制變量，零階相關；一階偏相關系數(shù)r ab.c（下標）表示在控制變量c后，ab相關大小。

2. 偏相關平方后得到偏測定系數(shù)：表示控制其他自變量條件下，單一自變量對因變量的邊際解釋力。（p67圖）

3. 偏測定系數(shù)通過比較兩次回歸間的差異，測量x2對y的邊際影響

（四） 半偏相關系數(shù)

1. 也叫部分相關：從Xk中剔除其他X后，Xk與y的相關，反映Xk的獨特貢獻。

2. 與偏相關比較：半偏僅從X2中剔除與X1相關下部分，沒有從Y中剔除X1相關部分（p68圖）。

（五） 標準回歸系數(shù)

1. 判斷自變量中，哪些事主要因素，哪些事次要因素。將自變量因變量標準化，得到標準化的變量，在進行回歸分析，得到標準回歸方程，最后比較β絕對值大小

六、 統(tǒng)計檢驗

（一） 方程顯著性檢驗

就是y與x…的線性關系是否顯著?？傮w回歸系數(shù)b…中至少一個不為0.（H0:B1=B2…=0）

對回歸方程進行方差分析：回歸均方除以殘差均方，構造F檢驗

（二） 新加入變量顯著性檢驗

序列和統(tǒng)計回歸中，如果想檢驗已有自變量解釋了一定的R方后，新加入的自變量是否引起了R方的顯著性的改變，仍使用F檢驗。

（三） 回歸系數(shù)顯著性檢驗

H0:b=0

標準多元回歸中：偏回歸系數(shù)顯著性檢驗采用t檢驗。（b-β/SE，β=0，df=n-k-1）

弱國t檢驗顯著，則認為自變量回歸系數(shù)與零存在顯著差異，即控制其他變量后，自變量對因變量仍有顯著預測作用。

七、 注意的問題

（一） 樣本量大小的決定（p71）

（二） 異常值

單變量檢測常用：z分數(shù)，盒式圖；雙變量：散點圖；多變量：馬氏距離

回歸過程中檢測：殘差分析（標準化殘差<-3,>+3時，視為異常值）

（三） 多重共線性

兩個自變量間相關系數(shù)很高，或者一個自變量可以由其他自變量線性表示，即存在多重共線性。

指標：1.容忍度（TOL）：越接近1越好，小于0.1，則存在多重共線性；2.方差膨脹因子（VIF），是容忍度的倒數(shù)，越大越共線性越強，大于10，則認為存在共線性；3.條件指數(shù)（CI）指數(shù)越大，共線性越強，10-30弱共線，30-100中等，100以上，強共線性。

（四） 殘差分析

多元回歸分析假設殘差具有正態(tài)性、線性和方差同質性，同時假設誤差具有獨立性。

驗證：畫出殘差的散點圖，進行殘差分析。橫軸表示因變量預測值，縱軸表示殘差，如果滿足假設，殘差將對稱且隨機分布在值為0的直線上下，整體長方形。

（五） 分類變量的虛擬編碼（效應編碼以及對照編碼）

1.如果分類自變量有K個類別，則構造K-1個新變量，將其中一個看作參考類別（值都為零），其余K-1個類別在新變量上依次編碼為1.如三個類別abc，新變量X1,X2

那么：a，x1=0,x2=0;b,x1=1,x2=0;c,x1=0,x2=1.

此時，偏回歸系數(shù)意義在于：因變量在該類別上的均值與參考類別上均值的差異，即使用b、c得到的y分別比a高（低）了b1和b2個單位

2. 對照編碼：優(yōu)點是編碼后新變量相互正交；新變量有清楚的邏輯假設。

（相互正交：如果同一變量下所有類別的編碼值總和為0，且不同變量兩兩之間內積為0，則稱正交編碼）

八、 局限性

1. 回歸分析不能做出因果判斷，因果判斷依據(jù)邏輯和實驗，不能僅依賴統(tǒng)計結果。

2. 變量的選取應該借助理論而不能僅依靠統(tǒng)計。

3. 回歸分析假設自變量沒有殘差，但幾乎不存在這樣理想情況。

九、 應用及spss