第3章 線性模型

本章的線性回歸和對(duì)率回歸分別是回歸和分類(lèi)任務(wù)的常用算法。

3.1 基本形式

線性模型一般形式（向量）：

其中，是一個(gè)示例的屬性描述。

線性模型的可解釋性很好。

3.2?線性回歸

線性回歸：學(xué)得一個(gè)線性模型以盡可能準(zhǔn)確地預(yù)測(cè)實(shí)值輸出標(biāo)記。

離散屬性處理：

• 有“序”關(guān)系：連續(xù)化為連續(xù)值。比如身高的高矮。

• 無(wú)“序”關(guān)系：有k個(gè)屬性值，則轉(zhuǎn)換為k維向量。比如“是否是西瓜”、“是否是南瓜”、“是否是黃瓜”。

最小二乘法：基于均方誤差最小化來(lái)進(jìn)行模型求解的方法。（最小二乘法不僅限用于線性回歸）在線性回歸中，最小二乘法試圖找到一條直線，使所有樣本到直線上的歐氏距離之和最小。

# 補(bǔ)充知識(shí)

來(lái)源：https://www.bilibili.com/video/BV1Mh411e7VU

機(jī)器學(xué)習(xí)三要素：

1. 模型：數(shù)據(jù)分布的大致形式（是一元一次函數(shù)，還是一元二次函數(shù)等）；

2. 算法：通常是要產(chǎn)生一個(gè)損失函數(shù)（根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)確定）；

3. 策略：求解損失函數(shù)，得到最優(yōu)模型。

對(duì)于線性回歸模型，損失函數(shù)是所有樣本點(diǎn)和預(yù)測(cè)點(diǎn)的歐氏距離之和：

線性回歸模型是機(jī)器學(xué)習(xí)算法中少有的能求出閉式解（即解析解）的模型。解析過(guò)程和結(jié)果見(jiàn)西瓜書(shū)和南瓜書(shū)，在此略過(guò)?？墒褂玫牟呗詾?span id="s0sssss00s" class="color-pink-03">最小二乘法、極大似然估計(jì)。

若想令模型預(yù)測(cè)值逼近y的衍生物，則可將回歸模型寫(xiě)為：

雖然上式在形式上還是線性回歸，但實(shí)際上是非線性函數(shù)映射。

再推廣到更一般的情形，可以將上式寫(xiě)為：

其中，為單調(diào)可微函數(shù)，連續(xù)并充分光滑，稱(chēng)為聯(lián)系函數(shù)。

3.3 對(duì)數(shù)幾率回歸

簡(jiǎn)稱(chēng)“對(duì)率回歸”。找到一個(gè)使得模型可以進(jìn)行二分類(lèi)任務(wù)，模型為：

與線性模型相比，引入了Sigmoid函數(shù)。

“三要素”：

• 策略：損失函數(shù)為相對(duì)熵（KL散度）或交叉熵。具體形式與信息論有關(guān)。略。

• 算法：梯度下降或牛頓法。略。

3.4 線性判別分析（LDA）

LDA是一種經(jīng)典的二分類(lèi)模型，其核心思想與主成分分析相差無(wú)幾。其思想如下圖所示。

策略：最大化廣義瑞利商

算法：拉格朗日乘子法 / 轉(zhuǎn)換為廣義特征值問(wèn)題求解

3.5-3.7內(nèi)容暫略