機(jī)器學(xué)習(xí)——支持向量機(jī)SVM(1)
2023-02-10 16:29 作者:Vector永遠(yuǎn)的神 | 我要投稿
????支持向量機(jī)SVM一般是用于離散的分類問題中找到合適的分類超平面來使用,一般用以下線性方程來描述分類的超平面,分類模型由w向量和b偏置來共同決定。

????對于能夠正常分類的超平面的預(yù)測結(jié)果應(yīng)該如下所示,帶入相應(yīng)的xi,yi后滿足不等式即表示分類預(yù)測成功。

????距離超平面最近的這幾個(gè)訓(xùn)練樣本點(diǎn)使得上述不等式得等號成立,這幾個(gè)樣本所對應(yīng)的向量(xi,yi)則為支持向量,異類的支持向量到超平面之和即為“間隔”,如下所示。

????這個(gè)間隔可以理解為緩沖,即能夠容忍異常點(diǎn)的范圍,超平面需要與兩邊都要保持一定的距離,這個(gè)緩沖越大則說明該超平面的分類效果越好。
????關(guān)于這個(gè)間隔的計(jì)算方法,當(dāng)然可以用歐氏空間內(nèi)的距離計(jì)算直接得到,我看有一個(gè)up的推導(dǎo)過程講的很好,特此記錄。


? ? 通過決策超平面點(diǎn)的帶入計(jì)算,向量點(diǎn)乘等于零,w向量與決策超平面垂直。

? ?由于垂直的原因,Xm-Xn在向量W上的投影即為所求距離L。
?間隔最大化即需要使得w最小,雖然間隔表達(dá)式只與w相關(guān),但由于不等式條件中需要同時(shí)滿足,b也在隱性約束著間隔,最后的目標(biāo)如下所示。

標(biāo)簽: