寫在前面

本文是我的機器學(xué)習(xí)筆記，也是我根據(jù)我自己所學(xué)的知識總結(jié)的，對機器學(xué)習(xí)的零門檻入門讀物。由于是我自己總結(jié)的，內(nèi)容或多或少都有些錯誤。如果有不懂的問題或發(fā)現(xiàn)我文中的錯誤，歡迎大家及時批評指正！

本文會帶大家從感知機一路講到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在過程中，我會對所需要的前置知識進行講解。希望大家在看完之后，也能親手訓(xùn)練出自己的第一個神經(jīng)網(wǎng)絡(luò)！

機器學(xué)習(xí)中的分類問題

機器學(xué)習(xí)最常見的任務(wù)是分類任務(wù)，即給出屬于某個樣本的一組特征，使機器給出這個樣本所屬的類別。例如，對動物進行分類，若這個動物是短脖子、長耳朵、沒翅膀，那么大概率是兔子；長脖子、短耳朵、沒翅膀，那大概率是長頸鹿；長脖子、短耳朵、有翅膀，那么大概率是鴨子……讓機器學(xué)會根據(jù)特征對樣本進行分類，就是機器學(xué)習(xí)中最簡單也是最常見的任務(wù)。

在本章中，我們需要完成這么一個分類任務(wù)：每個學(xué)生的分班考試都會考兩個科目：一個是語文，一個是數(shù)學(xué)。當(dāng)考完兩門科目時，根據(jù)它們的成績，對每個學(xué)生進行分班。學(xué)校并沒有給出具體的分班標(biāo)準(zhǔn)，但給出了以往50名學(xué)生的語文、數(shù)學(xué)成績與它們的分班結(jié)果。

以往50名學(xué)生的語文、數(shù)學(xué)成績?nèi)缦滤荆?/p>

我們將它定義為變量x，x的長度為50，其中每一個元素都是一個特征向量，里面記錄了樣本的特征（語文和數(shù)學(xué)成績）；

他們的分班結(jié)果如下所示：

我們將它定義為變量y，y的長度也為50，其中每一個元素都是標(biāo)簽，在此處，標(biāo)簽即為學(xué)生的分班結(jié)果（學(xué)生被分進1和-1兩個班）。

乍一看，根本不會清楚分班的標(biāo)準(zhǔn)究竟是什么。通過圖片得知，它似乎是線性的。借助感知機，我們便能夠找到這些特征之間隱含的規(guī)律，進而使機器學(xué)會如何分類。

感知機的構(gòu)建

感知機最適用于線性可分的數(shù)據(jù)集。線性可分指的是樣本的類別可以由線性函數(shù)得到。在本文的實例中，特征向量的長度為2，因此我們根據(jù)公式

構(gòu)造我們的感知機。

我們初始化，，，計算所有的樣本，得到的分類結(jié)果如下圖所示：

可以看到，我們隨手構(gòu)造的分類器把所有的點都分類到黃色直線（）下方去了，相當(dāng)于把所有的學(xué)生都分到了一個班級，這很顯然不是我們最終想要得到的感知機。我們最終期望的感知機能夠完美分割屬于兩個不同班級的樣本（如圖中的紅點和藍(lán)點所示）。因此，我們必須要讓感知機根據(jù)那些分類錯誤的點修正自己的參數(shù)。

感知機的訓(xùn)練

如果希望訓(xùn)練感知機，就必須要讓它知道它所輸出的結(jié)果有多么離譜。這里我們設(shè)所預(yù)測的標(biāo)簽為，真實的標(biāo)簽為，那么我們要讓輸出的標(biāo)簽盡可能地靠近真實標(biāo)簽，就需要給它減去我們的偏差，即

因此，我們可以推知，我們訓(xùn)練這個感知機時所需要用到的梯度可以使用

求解得到。利用減去梯度來更新參數(shù)的方法在機器學(xué)習(xí)中就叫做梯度下降法。

求解得到了梯度之后，如何去更新我們的所有參數(shù)x呢？我們知道，函數(shù)在某一點導(dǎo)數(shù)的幾何意義是函數(shù)在該點切線的斜率。同樣地，在很小一段范圍之內(nèi)，可以近似地講函數(shù)（曲線）看作一小段直線，它可以和，組成一個直角三角形。

也正是因此，我們可以使用如下公式來更新我們的參數(shù)：

該公式利用偏導(dǎo)值，將輸出標(biāo)簽與真實標(biāo)簽的偏差轉(zhuǎn)換為各個參數(shù)所需要更新的大小。對于所需要更新的參數(shù)、和，利用求導(dǎo)法則，可以得到如下公式：

在更新參數(shù)時，只需要讓對應(yīng)的參數(shù)減去所需要更新的值即可。需要注意的是，所求出的、和僅僅代表參數(shù)更新的趨勢（這樣更新參數(shù)可以使得結(jié)果向更準(zhǔn)確的方向靠近），并不代表實際更新參數(shù)的時候，一定要減去這么多的值（有可能會直接減過頭）。因此，加入一個超參數(shù)：學(xué)習(xí)率，指定一次參數(shù)更新所更新的大小。學(xué)習(xí)率一般為一個很小的值，如，加入學(xué)習(xí)率之后，參數(shù)的更新如下所示：

通過上述公式推導(dǎo)，我們便可以寫出訓(xùn)練感知機的具體方法：

經(jīng)過訓(xùn)練之后，感知機的輸出結(jié)果如下所示：

編寫訓(xùn)練代碼如下：

我們便可以得到我們的訓(xùn)練結(jié)果：

可以看出，在訓(xùn)練了幾輪之后，準(zhǔn)確率就已經(jīng)逼近0.9左右，但隨后的輪次中，準(zhǔn)確率逐漸回落；因為憑機器很難找到最佳的分類函數(shù)，但機器會不斷學(xué)習(xí)，在學(xué)習(xí)時，就有可能偏移最佳的迭代路線。因此出現(xiàn)各種各樣用于優(yōu)化訓(xùn)練的優(yōu)化器，如ADAM等；同時，通過引入學(xué)習(xí)率衰減機制，適當(dāng)?shù)卦跍?zhǔn)確率較高的情況下衰減學(xué)習(xí)率，也能夠維持住準(zhǔn)確率。

線性不可分與核函數(shù)

前面說到，感知機最適合解決線性可分的問題。對于線性不可分的問題，感知機解決起來就會十分吃力。比如說，一個鋼鐵廠，生產(chǎn)了一批鐵棍，要求鐵棍的長度在一定長度（允許有一定范圍的誤差）才能過關(guān)。但是現(xiàn)在不知道長度是多少，只知道過往的一批記錄中鐵棍的長度及其合格與否。

鐵棍的長度如下所示：

鐵棍是否通過如下所示：

我們通過畫圖可以得知，只會通過鐵棍長度為15周邊的那一段。

因此，我們設(shè)置一個核函數(shù)

通過這個核函數(shù)，我們可以使代表鐵棍的一維的長度特征變成二維的特征。

由圖即可看出，將其通過核函數(shù)投影至更高維的特征空間后，就存在通過感知機將其正確分類的可能。