第6章 支持向量機(jī)

在深度學(xué)習(xí)大一統(tǒng)之前，支持向量機(jī)是熱門領(lǐng)域！

6.1 間隔與支持向量機(jī)

支持向量機(jī)的基本思想：對(duì)于線性可分的數(shù)據(jù)集，找到唯一的超平面，使得支持向量到這個(gè)超平面的距離之和最小。

支持向量就是下圖中被圈起來的樣本點(diǎn)，它們是距離超平面最近的幾個(gè)樣本點(diǎn)。圖中的就是間隔。

最大化間隔，也就是最小化。

對(duì)于給定的數(shù)據(jù)集X和超平面定義數(shù)據(jù)集X關(guān)于超平面的幾何間隔為：數(shù)據(jù)集X中所有樣本點(diǎn)的幾何間隔最小值。

6.2 對(duì)偶問題

為了求解支持向量機(jī)，用拉格朗日乘子法可以得到它的對(duì)偶問題。（具體推導(dǎo)還不太懂，先跳過）反正就是，它的對(duì)偶函數(shù)恒為凹函數(shù)，加負(fù)號(hào)就是凸函數(shù)了，然后就可以用凸優(yōu)化方法求解了。（求解過程也好難，跳過~）

6.3 核函數(shù)

核函數(shù)隱式地定義了高維特征空間。

這一節(jié)告訴我們，當(dāng)樣本的特征空間是有限維的時(shí)候，一定能找到能將他們完全分開的高維特征空間（比特征的維度高）。也就是說，實(shí)際問題都能找到高維特征空間的超平面。不過?。ń酉鹿?jié)）

6.4 軟間隔與正則化

不過！實(shí)際問題經(jīng)常出現(xiàn)異常值。畢竟我們研究問題不可能把所有的因素都考慮到。所以映射到高維空間容易出現(xiàn)過擬合的情況。

于是！出現(xiàn)了軟間隔！軟間隔就是把超平面立體化了，把超平面在法向量方向上變厚了。前述的SVM基本型可以看作是軟間隔時(shí)的特殊情況。

有軟間隔的SVM要增加損失函數(shù)了。落在立體超平面內(nèi)的樣本，統(tǒng)統(tǒng)是好樣本，不算損失。但是落在立體超平面外的樣本就要計(jì)算損失了。常用的損失函數(shù)有hinge損失、指數(shù)損失和對(duì)率損失。

求解方法也是求解對(duì)偶問題的拉格朗日乘子法。（夢(mèng)回學(xué)高數(shù)的時(shí)候，跳過?。?/p>

6.5 支持向量回歸

和軟間隔原理差不多，都是可以在指定范圍內(nèi)犯錯(cuò)。最后也都要用拉格朗日乘子法求解。（拉格朗日饒了我吧）

6.6跳過