在研究X對(duì)于Y的影響時(shí)，會(huì)區(qū)分出很多種情況，比如Y有的是定類數(shù)據(jù)，Y有的是定量數(shù)據(jù)，也有可能Y有多個(gè)或者1個(gè)，同時(shí)每種回歸分析還有很多前提條件，如果不滿足則有對(duì)應(yīng)的其它回歸方法進(jìn)行解決。這也就解決了為什么會(huì)有如此多的回歸分析方法。那么在分析過(guò)程中應(yīng)該如何選擇回歸方法？本篇文章帶你去探索30種回歸方法。

1. 回歸分析方法概述

1. 分類

1.應(yīng)用領(lǐng)域分類

（1）通用型

線性回歸：

如果回歸模型中X僅為1個(gè)，此時(shí)就稱為簡(jiǎn)單線性回歸或者一元線性回歸；如果X有多個(gè)，此時(shí)稱為多元線性回歸，Y滿足定量數(shù)據(jù)即可。

逐步回歸：

逐步回歸分析研究X對(duì)Y的影響關(guān)系情況,X可以為多個(gè),但并非所有X均會(huì)對(duì)Y產(chǎn)生影響;當(dāng)X個(gè)數(shù)很多時(shí),可以讓系統(tǒng)自動(dòng)識(shí)別出有影響的X;這一自動(dòng)識(shí)別分析方法則稱為逐步回歸分析;SPSSAU提供三種方法：向前法、向后法、逐步法。

Logistic回歸：

如果Y為兩類比如0和1（比如1為愿意和0為不愿意，1為購(gòu)買和0為不購(gòu)買），此時(shí)就叫二元logistic回歸；如果Y為多類比如1，2，3（比如小狗、小貓、小蛇），此時(shí)就會(huì)多分類logistic回歸；如果Y為多類且有序比如1，2，3（比如1為不喜歡，2為一般，3為喜歡），此時(shí)可以使用有序logistic回歸。

（2）統(tǒng)計(jì)學(xué)角度

線性回歸和逐步回歸上述有說(shuō)明，對(duì)于一般線性模型，請(qǐng)看下文描述。

（3）計(jì)量角度

分層回歸

比如第一次放入4個(gè)X;第二層放入3個(gè)X;第3層放入2個(gè)X; 每一層均在上一層基礎(chǔ)上放入更多項(xiàng);那放入的更多項(xiàng)是否對(duì)模型有解釋力度,此則為分層回歸關(guān)心的問(wèn)題;分層回歸通常用于中介作用或者調(diào)節(jié)作用研究中。

Poisson回歸

如果數(shù)據(jù)符合Poisson分布時(shí)，而又想研究X對(duì)于Y的影響（Y呈現(xiàn)出Poisson分布）；此時(shí)則需要使用Poisson回歸，而不是使用常規(guī)的線性回歸等。

負(fù)二項(xiàng)回歸

針對(duì)Possion回歸來(lái)講，如果計(jì)數(shù)資料不適合Poisson分布時(shí)，尤其是數(shù)據(jù)過(guò)離散時(shí)，此時(shí)使用負(fù)二項(xiàng)回歸分析更合適。

Cox回歸

研究相關(guān)因素對(duì)于生存時(shí)間影響的回歸模型，

Robust回歸

對(duì)于數(shù)據(jù)中，一般有異常值時(shí)，比較常用。

WLS加權(quán)回歸

使用OLS回歸時(shí)，放入加權(quán)項(xiàng)，需要使用WLS加權(quán)回歸。

OLS回歸

OLS回歸研究X對(duì)于Y的影響，在計(jì)量研究中，異方差問(wèn)題非常重要，嚴(yán)重的異方差問(wèn)題會(huì)影響模型估計(jì)和模型檢驗(yàn)等，因而在OLS回歸時(shí)需要對(duì)其進(jìn)行檢驗(yàn)，如果出現(xiàn)異方差問(wèn)題則需要進(jìn)行處理等。實(shí)際上也是線性回歸，在計(jì)量經(jīng)濟(jì)學(xué)中比較常用。

兩階段回歸

計(jì)量經(jīng)濟(jì)學(xué)中，解決內(nèi)生性的方法。

分位數(shù)回歸

顧名思義，研究分位數(shù)影響關(guān)系的方法。

分組回歸

實(shí)質(zhì)是線性回歸，比如將性別分為男和女，分別做線性回歸并且對(duì)比參數(shù)值。

GMM估計(jì)

在計(jì)量經(jīng)濟(jì)學(xué)中，處理內(nèi)生性問(wèn)題。

Tobit模型

需要?jiǎng)h除的數(shù)據(jù)使用的回歸方法。

面板模型

不同對(duì)象在不同時(shí)間上的指標(biāo)數(shù)據(jù)是面板數(shù)據(jù)，面板模型面板數(shù)據(jù)的回歸，

（4）社科學(xué)角度

路徑分析

路徑分析在于研究模型影響關(guān)系，用于對(duì)模型假設(shè)進(jìn)行驗(yàn)證。比如下圖的模型框架：希望研究工作條件，人際關(guān)系對(duì)于公司滿意度的影響；

結(jié)構(gòu)方程模型SEM

結(jié)構(gòu)方程模型SEM是一種多元數(shù)據(jù)分析方法，其可用于研究多個(gè)潛變量之間的影響關(guān)系情況。結(jié)構(gòu)方程模型共包括兩部分結(jié)構(gòu)，分別是測(cè)量關(guān)系和影響關(guān)系。

調(diào)節(jié)作用

調(diào)節(jié)作用是研究X對(duì)Y的影響時(shí)，是否會(huì)受到調(diào)節(jié)變量Z的干擾；比如開(kāi)車速度（X）會(huì)對(duì)車禍可能性（Y）產(chǎn)生影響，這種影響關(guān)系受到是否喝酒（Z）的干擾，即喝酒時(shí)的影響幅度，與不喝酒時(shí)的影響幅度 是否有著明顯的不一樣。

中介作用

中介作用是一種概念，具體研究時(shí)需要對(duì)應(yīng)使用研究方法（分層回歸）去實(shí)現(xiàn)；中介作用分析時(shí)，Y一定是定量數(shù)據(jù)（比如工作績(jī)效）。X也是定量數(shù)據(jù)（比如工作滿意度），中介變量M也是定量數(shù)據(jù)（比如創(chuàng)新氛圍）。

調(diào)節(jié)中介

包括中介作用和調(diào)節(jié)作用。

分層回歸

多個(gè)層的線性回歸，并且進(jìn)行模型對(duì)比。

分組回歸

實(shí)質(zhì)是線性回歸，比如將性別分為男和女，分別做線性回歸并且對(duì)比參數(shù)值。

（5）醫(yī)學(xué)角度

Poisson回歸

如果數(shù)據(jù)符合Poisson分布時(shí)，而又想研究X對(duì)于Y的影響（Y呈現(xiàn)出Poisson分布）；此時(shí)則需要使用Poisson回歸，而不是使用常規(guī)的線性回歸等。

負(fù)二項(xiàng)回歸

上述中有提到。

Cox回歸

上述中有提到。

條件logit回歸

醫(yī)學(xué)研究的病例-對(duì)照研究中，為了控制一些重要的混雜因素，經(jīng)常會(huì)把病例和對(duì)照按年齡，性別等條件進(jìn)行配對(duì)，形成多個(gè)匹配組。各匹配組的病例數(shù)和對(duì)照人數(shù)是任意的，比如一個(gè)病例和若干個(gè)對(duì)照匹配即1：1，常見(jiàn)是1:M(M <=3)，即1個(gè)病例和1或2或3個(gè)對(duì)照匹配。也或者在使用過(guò)計(jì)量研究里面的PSM傾向得分匹配，也有可能使用到條件logistic回歸。

諸如上述說(shuō)明時(shí)，如果研究數(shù)據(jù)帶有‘類實(shí)驗(yàn)’性質(zhì)，因變量Y為0和1二分類數(shù)據(jù)，此時(shí)則應(yīng)該使用條件logistic回歸

Deming回歸

Deming回歸，其可用于研究?jī)煞N儀器（或者兩種測(cè)量方法等）是否有著一致性（相似的測(cè)量值）。Deming回歸與普通線性回歸（OLS回歸）的原理上有所不同，普通線性回歸時(shí)，只有Y會(huì)包含測(cè)量誤差，但是Deming回歸時(shí)X和Y均會(huì)包含測(cè)量誤差。

（6）數(shù)學(xué)建模

PLS回歸

在進(jìn)行X對(duì)于Y的影響關(guān)系研究時(shí)，Y只能是一項(xiàng)，如果Y有多項(xiàng)，則有兩種處理辦法，一是重復(fù)進(jìn)行多次；二是將Y概括成一個(gè)整體。那如果研究人員希望將多個(gè)Y同時(shí)放一起分析時(shí)，則需要使用PLS回歸。

逐步回歸

逐步回歸分析研究X(自變量,通常為量數(shù)據(jù))對(duì)Y(因變量,定量數(shù)據(jù))的影響關(guān)系情況,X可以為多個(gè),但并非所有X均會(huì)對(duì)Y產(chǎn)生影響;當(dāng)X個(gè)數(shù)很多時(shí),可以讓系統(tǒng)自動(dòng)識(shí)別出有影響的X;這一自動(dòng)識(shí)別分析方法則稱為逐步回歸分析;如果全部X均沒(méi)有顯著性,此時(shí)系統(tǒng)默認(rèn)返回 回歸分析結(jié)果。

嶺回歸

嶺回歸分析用于解決線性回歸分析中自變量共線性的研究算法。嶺回歸通過(guò)引入k個(gè)單位陣，使得回歸系數(shù)可估計(jì)；單位陣引入會(huì)導(dǎo)致信息丟失，但同時(shí)可換來(lái)回歸模型的合理估計(jì)。針對(duì)嶺回歸：其研究步驟共為2步,分別是結(jié)合嶺跡圖尋找最佳K值；輸入K值進(jìn)行回歸建模。

Lasso回歸

回歸結(jié)果中出現(xiàn)共線性的解決方法，也可做特征篩選。

Poisson回歸

上述有提到過(guò)。

（7）專業(yè)型

曲線回歸

曲線回歸是指對(duì)于非線性關(guān)系的變量進(jìn)行回歸分析的方法。曲線回歸在關(guān)系形式上是非線性關(guān)系，但可通過(guò)各類轉(zhuǎn)換變成線性關(guān)系，最終建立回歸模型。

非線性回歸

不是線性回歸的擬合模型。

PLS回歸

在進(jìn)行X對(duì)于Y的影響關(guān)系研究時(shí)，Y只能是一項(xiàng)，如果Y有多項(xiàng)，則有兩種處理辦法，一是重復(fù)進(jìn)行多次；二是將Y概括成一個(gè)整體。那如果研究人員希望將多個(gè)Y同時(shí)放一起分析時(shí)，則需要使用PLS回歸。

嶺回歸

嶺回歸分析用于解決線性回歸分析中自變量共線性的研究算法。嶺回歸通過(guò)引入k個(gè)單位陣，使得回歸系數(shù)可估計(jì)；單位陣引入會(huì)導(dǎo)致信息丟失，但同時(shí)可換來(lái)回歸模型的合理估計(jì)。針對(duì)嶺回歸：其研究步驟共為2步,分別是結(jié)合嶺跡圖尋找最佳K值；輸入K值進(jìn)行回歸建模。

Lasso回歸

上述文案有提及。