回歸分析:最小二乘法估計(jì)線性回歸模型的參數(shù)
一、一元線性回歸
回歸分析可以用來(lái)分析變量間的關(guān)聯(lián)強(qiáng)度和關(guān)聯(lián)方向,而且還可以通過(guò)回歸方程式,利用已知的自變量預(yù)測(cè)未知的因變量。
一元線性回歸又稱簡(jiǎn)單線性回歸,是只包括一個(gè)自變量和一個(gè)因變量,而且二者的關(guān)系可以用一條直線近似表示,會(huì)建立出一個(gè)一元線性回歸方程。設(shè)為

二、最小二乘法求一元線性回歸方程
回歸分析中要確定一個(gè)一元線性回歸方程,很簡(jiǎn)單,只需要通過(guò)樣本數(shù)據(jù)求出公式中a和b兩個(gè)參數(shù)的值,一元線性回歸方程就唯一確定。
a和b如何確定,有一種比較好的計(jì)算方法,叫做最小二乘法。這里以一個(gè)簡(jiǎn)單小案例具體介紹如何用最小二乘法估計(jì)參數(shù)a和b。
案例數(shù)據(jù):為了研究受教育年限和職業(yè)聲望之間的關(guān)系,得到了8個(gè)抽樣調(diào)查結(jié)果如下:

首先分析樣本數(shù)據(jù),先繪制一個(gè)散點(diǎn)圖,看看數(shù)據(jù)的分布情況,這里將數(shù)據(jù)整理成上方表格的形式,上傳到SPSSAU,上傳成功如下圖所示,【受教育年限】為自變量,【職業(yè)聲望】為因變量:

選擇【可視化】板塊中的【散點(diǎn)圖】,以受教育年限】和【職業(yè)聲望】?jī)蓚€(gè)變量的數(shù)據(jù)來(lái)繪制散點(diǎn)圖:

輸出散點(diǎn)圖:

由散點(diǎn)圖可見(jiàn),職業(yè)聲望(Y)隨受教育年限(X)的增加而增加,且這些點(diǎn)呈直線趨勢(shì),所以我們可以求出一條最能代表這8個(gè)數(shù)據(jù)分布點(diǎn)分布趨勢(shì)的直線:
不妨設(shè)為:

使用最小二乘法對(duì)這個(gè)直線回歸方程中的參數(shù)a和b進(jìn)行估計(jì):
公式如下:

具體求法:
第一步:求出變量x的平均值

第二步:求出變量y的平均值

第三步:求出系數(shù)b

第四步:求出截距a

這樣就得到了一元線性回歸方程:

三、SPSSAU線性回歸分析
需要對(duì)數(shù)據(jù)進(jìn)行線性回歸分析,可以使用SPSSAU,快速完成數(shù)據(jù)分析,在【通用方法】中選中【線性回歸】方法,將【受教育年限】與【職業(yè)聲望】分別放入對(duì)應(yīng)分析框中,點(diǎn)擊【開(kāi)始分析】可一鍵輸出結(jié)果,如下圖:

輸出結(jié)果:

智能分析:由文字分析可知,SPSSAU算出的線性回歸模型公式和我們之前手算的公式完全一樣,另外自動(dòng)分析出受教育年限會(huì)對(duì)職業(yè)聲望產(chǎn)生顯著的正向影響關(guān)系。

模型預(yù)測(cè):另外還提供簡(jiǎn)單線性回歸的模型預(yù)測(cè),輸入自變量【受教育年限】的值,系統(tǒng)會(huì)自動(dòng)預(yù)測(cè)【職業(yè)聲望】的值。如下圖:

此時(shí)我們預(yù)測(cè)受教育年限為25時(shí)的職業(yè)聲望,如下圖:

另外可以通過(guò)線性回歸的方差分析檢驗(yàn)回歸模型:

方差分析可知,對(duì)模型進(jìn)行F檢驗(yàn)時(shí)發(fā)現(xiàn)模型通過(guò)F檢驗(yàn)(F=57.898,p=0.000<0.05),也即說(shuō)明模型構(gòu)建有意義。
【SPSSAU數(shù)據(jù)科學(xué)分析平臺(tái)-讓數(shù)據(jù)分析非常簡(jiǎn)單】