多重共線性

判斷標準
常見的直觀判斷方法共有四個,如下:
(1)某些自變量的相關系數(shù)值較大(比如大于0.8)等,可以利用pearson相關系數(shù)檢驗法一般是利用解釋變量之間的線性相關程度判斷,一般標準是系數(shù)大于0.8則認為可能存在多重共線性。
(2)如果增加一個變量或者刪除一個變量,回歸系數(shù)的觀測值變化很大。
(3)如果說F檢驗通過,并且決定系數(shù)值也較大,但是t檢驗并不顯著,也可能存在多重共線性。
(4)回歸系數(shù)的正負符號與專業(yè)知識相反或與實際分析結(jié)果不符,也會存在多重共線性的可能。
以上方法可能會存在誤差,更多偏向于主觀,還有一種正規(guī)檢驗方法,觀察回歸分析中的VIF值(方差膨脹因子),這個檢驗方法更為嚴謹、準確。通常的判斷標準是VIF值大于10即具有多重共線性,有的文獻也說大于5即有共線性。
其中VIF值如下:
VIF=(1?R2)?1
從公式中我們發(fā)現(xiàn)VIF和R方是有直接關系的。
當VIF>5,
1-?R2?
處理多重共線性

處理多重共線性經(jīng)驗式做法:
(1)刪除不重要的共線性變量
但是刪除變量后可能會導致模型和原本分析的模型不一樣,可能會出現(xiàn)決策錯誤等現(xiàn)象。
(2)增加樣本容量
多重共線性有可能與樣本量過少有關,所以如果存在也可以加大樣本量。但是加大樣本量具有局限性比如實驗已經(jīng)結(jié)束或者其它原因。
(3)變量轉(zhuǎn)換
構(gòu)造一個新的變量,這一新變量是多重共線性變量的函數(shù),然后用這個新的變量代替多重共線性的變量,但是要注意組合后的數(shù)據(jù)需要有實際意義否則模型不好解釋。
其它處理方法:

1、嶺回歸
嶺回歸分析是一種修正的最小二乘估計法,當自變量系統(tǒng)中存在多重共線性時,它可以提供一個有偏估計量,這個估計量雖有微小偏差,但它的精度卻能大大高于無偏估計。
如果使用SPSSAU進行分析嶺回歸一般有兩個步驟:嶺回歸通過引入k個單位陣,使得回歸系數(shù)可估計;單位陣引入會導致信息丟失,但同時可換來回歸模型的合理估計。針對嶺回歸:其研究步驟共為2步,分別是結(jié)合嶺跡圖尋找最佳K值;輸入K值進行回歸建模。
2、逐步回歸
逐步回歸分析方法視自變量對因變量的影響顯著性大小從大到小逐個引入回歸方程,從處理角度來看逐步回歸比嶺回歸和主成分回歸要好一些。逐步回歸面臨著檢驗的顯著性水平的選擇困難它通常得不到最優(yōu)變量子集,可以利用SPSSAU進階方法中逐步回歸進行分析。

3、主成分回歸
主成分回歸根據(jù)主成分分析的思想提出的。主成分估計和嶺回歸類似都是一種有偏估計。主成分分析利用降維的思想對數(shù)據(jù)信息進行濃縮,將多個分析項濃縮成幾個關鍵概括性指標;剔除對系統(tǒng)影響微弱的部分。通過對各個主成分的重點分析,來達到對原始變量進行分析的目的。主成分回歸就是用對原變量進行主成分分析后得到的新的指標來代替原變量,再使用最小二乘法進行回歸分析。由于對原變量的綜合,就可以起到克服多重共線性所造成的信息重疊的作用,從而消除多重共線性對回歸建模的影響。
4、偏最小二乘法
偏最小二乘法不僅可以用單變量回歸分析方法,也可以用于多變量回歸分析方法,一般情況下處理樣本量相對較小,自變量多的數(shù)據(jù)。
多重共線性的評論 (共 條)
