散文網(wǎng) » 科技 »學(xué)習(xí) » 一文看懂支持向量機(jī)，你懂我is吧？

一文看懂支持向量機(jī)，你懂我is吧？

2022-02-23 08:39 作者:圖通道 0人讀過 | 我要投稿

這是圖圖之前寫的一篇關(guān)于支持向量機(jī)的筆記，今天拿出來分享一下。因?yàn)閼卸瑁竺婀捷^多的部分就直接打印成圖片了。支持向量機(jī)（Support Vector Machine，常簡稱為SVM）是一種監(jiān)督式學(xué)習(xí)的方法，可廣泛地應(yīng)用于統(tǒng)計(jì)分類以及回歸分析。

1 什么是支持向量機(jī)

1.1 簡介及發(fā)展歷程

支持向量機(jī)，英文全稱是Support Vector Machines，縮寫為SVM，下文都將以該縮寫代替。SVM 起源于上個(gè)世紀(jì)六十年代，是機(jī)器學(xué)習(xí)中用于分類的一種算法。

它大致經(jīng)歷了以下四個(gè)階段：

?1?線性分類器（Linear Classifier）?2?線性支持向量機(jī)（LSVM）?3?線性不可分問題改進(jìn)（引入軟間隔，Soft Margin）?4?非線性支持向量機(jī)（核函數(shù)方法，kernal method）

其中4非線性支持向量機(jī)才是現(xiàn)代意義上的支持向量機(jī)，因?yàn)樗?了核函數(shù)方法，能夠?qū)⒎蔷€性問題轉(zhuǎn)化到高維空間（線性化），使得支持向量機(jī)能夠處理非線性問題。除此之外，推導(dǎo)過程及原理和線性支持向量機(jī)完全一致。對于應(yīng)用來講，3?含有Soft Margin 的LSVM 個(gè)人認(rèn)為并不是非常重要，因此在本文中不作詳細(xì)介紹，最主要的其實(shí)就是2線性支持向量機(jī)LSVM與4非線性支持向量機(jī)，本推送中也將只介紹最這兩個(gè)。

1.2 故事引入

首先來看一個(gè)案例，讓大家感性地認(rèn)識SVM。用一根筷子分開下面這些球，按顏色分類；

顯然，筷子的放置方法不只一種，因?yàn)榭曜拥慕嵌瓤梢孕D(zhuǎn)；

而SVM 就是試圖把棍放在最佳位置，好讓在筷子的兩邊有盡可能大的間隙，就是讓有色條紋的寬度盡可能大！

以上的問題在二維平面上是線性可分的，如果是下面這種問題呢？無法用筷子分離怎么辦（線性不可分問題）？

可以將這些球扔到空中，用平面去分割。

以上就是支持向量機(jī)的一個(gè)感性小故事。被分類的這些球叫做數(shù)據(jù)集?data，那個(gè)筷子叫做分類器classifier，找到最佳放置位置具有最大間隙的方法就是優(yōu)化optimization，將球扔到空中變成高維問題用平面分離的方法就叫核方法kernal method, 那個(gè)平面叫做超平面hyperplane （一維問題超平面是點(diǎn)，二維問題超平面是線，依次類推）。其中放置的最優(yōu)位置與數(shù)據(jù)集有關(guān)，對于該示例，限制有色區(qū)域條紋寬度的幾個(gè)球就是支持向量。