【數(shù)之道】SVM第四節(jié)：軟間隔

一開(kāi)始，所有綠色的點(diǎn)都位于正超平面及其上方，且y值為1；所有黃色的點(diǎn)都位于負(fù)超平面及其下方，且y值為-1。所有的點(diǎn)都滿足約束條件：

假如我們有了一個(gè)新的數(shù)據(jù)點(diǎn)a，但不符合約束條件：

這時(shí)就面臨了兩個(gè)選擇：

①采用新硬間隔。但由于間隔變窄，未來(lái)用于數(shù)據(jù)分類預(yù)測(cè)的效果會(huì)變差；

②繼續(xù)采用原間隔。但由于新數(shù)據(jù)的加入，原硬間隔的約束條件被其破壞，產(chǎn)生了系統(tǒng)損失。這個(gè)包含損失的間隔就是“軟間隔”。

這個(gè)違反約束的數(shù)據(jù)點(diǎn)對(duì)應(yīng)的誤差（或損失值）叫εa：

數(shù)據(jù)點(diǎn)a離負(fù)超平面越近時(shí)，一開(kāi)始小于1的A越接近1，εa越接近0；數(shù)據(jù)點(diǎn)a移動(dòng)到負(fù)超平面時(shí)，A=1，εa=0；數(shù)據(jù)點(diǎn)a向下越過(guò)負(fù)超平面后，A越大于1，原約束條件A>=1并不會(huì)被破壞，εa保持為0。

數(shù)據(jù)點(diǎn)a離負(fù)超平面越遠(yuǎn)時(shí)，一開(kāi)始小于1的A將越來(lái)越小于1，εa越來(lái)越大；數(shù)據(jù)點(diǎn)a移動(dòng)到?jīng)Q策超平面時(shí)，A=0，εa=1；數(shù)據(jù)點(diǎn)a向上越過(guò)正超平面后，A<0且將越來(lái)越小，εa將繼續(xù)越來(lái)越大。

所以對(duì)于任意一個(gè)數(shù)據(jù)點(diǎn)i，其損失值可以用下圖中橙色的損失函數(shù)來(lái)表示：

因?yàn)樵摀p失函數(shù)圖像的特點(diǎn)，我們稱其為“鉸鏈損失函數(shù)：Hinge Loss Function”。

SVM系列的前幾節(jié)中說(shuō)過(guò)，尋找最優(yōu)決策超平面等價(jià)于求解在滿足約束條件的情況下，向量w長(zhǎng)度的最小化問(wèn)題：

與上面硬間隔的優(yōu)化問(wèn)題不同，在求解軟間隔的優(yōu)化問(wèn)題過(guò)程中，需要引入損失值的概念，同時(shí)考慮向量w的長(zhǎng)度和損失值εi的大小。然而，向量w的長(zhǎng)度和損失值εi的大小是相互制約的：向量w的長(zhǎng)度越大，間隔越小，原始數(shù)據(jù)越不容易出現(xiàn)分類錯(cuò)誤，因此損失值εi的總和越??；同理，向量w的長(zhǎng)度越小，損失值εi的總和越大。最后的最優(yōu)解是當(dāng)向量w的長(zhǎng)度和損失值εi的大小達(dá)到均衡的狀態(tài)。

下劃紅線的部分等價(jià)于綠色箭頭右邊的約束條件：

然后就能用25集中類似的方法求解軟間隔的優(yōu)化問(wèn)題。

但在實(shí)際操作和中，會(huì)對(duì)損失值部分乘以一個(gè)常數(shù)C，來(lái)控制對(duì)違反約束條件的數(shù)據(jù)點(diǎn)的容忍度。

如何選擇超參數(shù)C將在SVM系列的第五節(jié)作詳細(xì)介紹。