19種回歸分析你知道幾種呢?
只要學(xué)習(xí)過數(shù)據(jù)分析,或者對數(shù)據(jù)分析有一些簡單的了解,比如使用過SPSSAU、SPSS這些統(tǒng)計分析軟件,都知道有回歸分析。按照數(shù)學(xué)上的定義來看,回歸分析指研究一組隨機變量(Y1 ,Y2 ,…,Yi)和另一組(X1,X2,…,Xk)變量之間關(guān)系的統(tǒng)計分析方法,又稱多重回歸分析。通常Y1,Y2,…,Yi是因變量,X1、X2,…,Xk是自變量。
其實說簡單點就是研究X對于Y的影響關(guān)系,這就是回歸分析。但是,這并不夠呢,看下圖,總共19種回歸(其實還有不單獨列出),這如何區(qū)分,到底應(yīng)該使用哪一種回歸呢,這19種回歸分析有啥區(qū)別呢。為什么會這如此多的回歸分析呢?
一、首先回答下:為什么會有如此多的回歸分析方法?
在研究X對于Y的影響時,會區(qū)分出很多種情況,比如Y有的是定類數(shù)據(jù),Y有的是定量數(shù)據(jù)(如果不懂的童鞋可查看SPSSAU官網(wǎng)幫助手冊),也有可能Y有多個或者1個,同時每種回歸分析還有很多前提條件,如果不滿足則有對應(yīng)的其它回歸方法進行解決。這也就解決了為什么會有如此多的回歸分析方法。接下來會逐一說明這19種回歸分析方法。
二、回歸分析按數(shù)據(jù)類型分類
首先將回歸分析中的Y(因變量)進行數(shù)據(jù)類型區(qū)分,如果是定量且1個(比如身高),通常我們會使用線性回歸,如果Y為定類且1個(比如是否愿意購買蘋果手機),此時叫l(wèi)ogistic回歸,如果Y為定量且多個,此時應(yīng)該使用PLS回歸(即偏最小二乘回歸)
線性回歸再細分:如果回歸模型中X僅為1個,此時就稱為簡單線性回歸或者一元線性回歸;如果X有多個,此時稱為多元線性回歸。
Logistic回歸再細分:如果Y為兩類比如0和1(比如1為愿意和0為不愿意,1為購買和0為不購買),此時就叫二元logistic回歸;如果Y為多類比如1,2,3(比如DELL, Thinkpad, Mac),此時就會多分類logistic回歸;如果Y為多類且有序比如1,2,3(比如1為不愿意,2為中立,3為愿意),此時可以使用有序logistic回歸。如果Y為兩類時,有時候也會使用二元Probit回歸模型。
除此之外,如果Y為定量且為多個,很多時候會將Y合并概括成1個(比如使用平均值),然后使用線性回歸,反之可考慮使用PLS回歸(但此種情況使用其實較少,PLS回歸模型非常復(fù)雜)。
三、深入說明線性因歸模型
我們常見的回歸分析中,線性回歸和logistic回歸最為常見。也是當(dāng)前研究最多,并且使用最為普遍,以及最為人接受容易理解的研究方法。
尤其是線性回歸,其使用最為成熟,研究最多,而且絕大多數(shù)生活現(xiàn)象均可使用線性回歸進行研究,因而結(jié)合回歸分析還會多出一些回歸方法;同時回歸分析模型會有很多假定,或者滿足條件,如果不滿足這些假定或者條件就會導(dǎo)致模型使用出錯,此時就有對應(yīng)的其它回歸模型出來解決這些問題,因而跟著線性回歸后面又出來很多的回歸。如下圖:
線性回歸是研究X對于Y的影響,如果說有多個X,希望讓模型自動找出有意義的X,此時就可以使用逐步回歸。另外在很一些管理類研究中會涉及到中介作用或者調(diào)節(jié)作用,此時就可能使用到分層回歸或者分組回歸等。
在進行線性回歸分析時,如果說模型出現(xiàn)共線性問題VIF值很大,此時就可以使用嶺回歸進行解決,嶺回歸的使用較為廣泛,其實還有Lasso回歸也可以解決共線性問題,但是使用非常少而已。
如果數(shù)據(jù)中有異常值,常見的解決辦法是先把異常值去除掉,但有的時候確實無法去除掉異常值,此時可考慮使用穩(wěn)健回歸分析模型。
線性回歸的前提是X和Y之間有著線性關(guān)系,但有的時候X和Y并不是線性關(guān)系,此時就有著曲線回歸和非線性回歸這兩種回歸出來供使用,曲線回歸其實質(zhì)上是將曲線模型表達式轉(zhuǎn)換成線性關(guān)系表達式進行研究,而非線性回歸較為復(fù)雜當(dāng)然使用也非常少,其和線性回歸完全不是一回事情。以及Poisson回歸(泊松回歸)是指Y符合泊松分布特征時使用的回歸研究模型。
四、其它
除此之外,還有比如加權(quán)WLS回歸等,使用較少,不單獨說明。
最后特別說明的一種回歸模型叫Cox回歸,這是醫(yī)學(xué)研究中使用較多的一種方法,是研究生存影響關(guān)系,比如研究抑郁癥生存時間,癌癥的死亡時間影響關(guān)系情況等。
綜上所述,一次性將19種回歸匯總,基本上都可以在SPSSAU上面找到,關(guān)于各類回歸方法的使用,以及具體原理,可查看SPSSAU官網(wǎng),以及可使用SPSSAU上面的案例數(shù)據(jù),逐一進行操作分析。