????在使用線性模型進(jìn)行回歸任務(wù)訓(xùn)練的時候，不同的回歸模型有著不同的訓(xùn)練數(shù)據(jù)樣本，目標(biāo)yi的取值假設(shè)的概率分布模型也是不一樣的，例如正態(tài)分布與伯努利分布等等。

????

????在線性回歸模型和假設(shè)概率分布之間，需要存在一個鏈接函數(shù)g來溝通左右兩邊，反向則是反函數(shù)g-1.

? ?

這個關(guān)系可以進(jìn)一步地歸納成以下內(nèi)容，首先是目標(biāo)值yi滿足某一個確定的條件概率分布模型，然后是線性預(yù)測值η作為橋梁，概率分布模型地某個參數(shù)是η的函數(shù)。

? 在正常的線性回歸模型中，正態(tài)分布的期望均值u剛好是η，鏈接函數(shù)g也就變成了一個全等函數(shù)。

????具體到廣義線性模型中，條件發(fā)生了以下變化。概率分布模型必須得是指數(shù)族概率分布模型，包括高斯分布，伯努利分布，指數(shù)分布等等一系列概率分布模型。并且η必須與概率分布模型的期望均值u滿足函數(shù)關(guān)系，并且只能與u有關(guān)，否則就不滿足廣義線性模型。

????在這個條件概率等式下，η是自然參數(shù)，是概率分布模型中所有的未知參數(shù)，T（y）是充分統(tǒng)計量，訓(xùn)練數(shù)據(jù)樣本對于該統(tǒng)計量y的條件分布，與概率分布模型的自然參數(shù)η是完全無關(guān)的，但是與未知參數(shù)η是一一對應(yīng)的關(guān)系，是針對某個概率分布模型中的參數(shù)而言的充分統(tǒng)計量。最后的A（η）則是配分函數(shù)，為了歸一化處理，使得概率分布模型的積分值為1.

????廣義線性模型只討論概率分布模型的一個參數(shù)，期望均值u。

????

????正態(tài)分布中的σ在此討論中與u無關(guān)，表達(dá)中被省略掉了。上式寫作向量的形式，顏色相互對應(yīng)，只討論u所以η=u帶入正態(tài)分布的計算中去。

????0/1分類模型預(yù)測的伯努利分布。

這也就是為什么在上一篇文章中可以使用sigmoid函數(shù)作為0/1分類模型密度p的依據(jù)。