文章目錄

• 前言

• 1. 模型

• 2. 損失

• 3. 損失loss關(guān)于權(quán)值W的梯度

• 4. 求梯度——數(shù)值梯度

• 5. 梯度下降中的小批量

1. 模型

神經(jīng)網(wǎng)絡(luò)的模型可以就看作為一個(gè)函數(shù)，模型學(xué)習(xí)（訓(xùn)練）的過(guò)程，就可以看成是給函數(shù)尋找合適的參數(shù)的過(guò)程。比如，下面就是一個(gè)簡(jiǎn)單的模型，它所表示的函數(shù)就是 y = w 1 x 1 + w 2 x 2 y = w1x1+w2x2y=w1x1+w2x2

這個(gè)函數(shù)在兩個(gè)側(cè)面的投影，就是 y = w 1 x 1 y=w1x1y=w1x1 和 y = w 2 x 2 y=w2x2y=w2x2。學(xué)習(xí)一個(gè)多元函數(shù)，可以看成是分別學(xué)習(xí)多個(gè)一元的函數(shù)。

2. 損失

損失，也就是模型和數(shù)據(jù)的不貼合程度。
衡量損失常用的一個(gè)函數(shù)是均方損失函數(shù)：

其中 n 為數(shù)據(jù)點(diǎn)數(shù)量。函數(shù)也可以寫(xiě)成

其中 W 為模型的所有權(quán)值，X i X_{i}X i 為第 i 個(gè)數(shù)據(jù)點(diǎn)的所有自變量。既然衡量損失有了一個(gè)確定的函數(shù)，那訓(xùn)練模型的過(guò)程就可以變成一個(gè)最小化損失的過(guò)程，方法就是不斷地改變權(quán)值W，使函數(shù)關(guān)于所有這些數(shù)據(jù)點(diǎn)的損失（或者說(shuō)平均損失）不斷變小。

3. 損失loss關(guān)于權(quán)值W的梯度

通常來(lái)說(shuō)，應(yīng)該函數(shù)的權(quán)值 W 是固定的，而數(shù)據(jù)的特征 X 作為自變量。但我們是要通過(guò)一個(gè)固有的數(shù)據(jù)集，來(lái)優(yōu)化權(quán)值W，所以在優(yōu)化過(guò)程中，我們要把損失函數(shù)l o s s lossloss中的W看作自變量。

然后我們求 l o s s lossloss 關(guān)于 W WW 的梯度，遵循著梯度的指引來(lái)改變 W WW。

W 中的每個(gè) w ww 的移動(dòng)，可以看成是相對(duì)獨(dú)立、互不干擾的。更新一個(gè)有很多權(quán)值的復(fù)雜模型，就成了很多重復(fù)的這樣更新單個(gè)權(quán)值的操作。

4. 求梯度——數(shù)值梯度

在具體求梯度的過(guò)程中，計(jì)算機(jī)本身是不會(huì)公式演算的。但我們并不需要對(duì)損失函數(shù)求出梯度的表達(dá)式，而只需求函數(shù)在每個(gè) 權(quán)值w ww處的梯度值。

數(shù)值梯度的方法，就人為地設(shè)置了一個(gè)確定的微小值 h hh，比如 1 0 ? 5 10^{-5}10 ?5

?（具體根據(jù)實(shí)際需要）。

因此，我們更新 w ww 的方式，就像是先試探著往一個(gè)方向走一小步，如果發(fā)現(xiàn)合適，就再往那個(gè)方向走一大步；否則，就往反方向走。

5. 梯度下降中的小批量

小批量隨機(jī)梯度下降法是機(jī)器學(xué)習(xí)中一種常用的方法，為什么要用到小批量？

前面每次計(jì)算損失，都是計(jì)算模型函數(shù)關(guān)于整個(gè)樣本數(shù)據(jù)集的損失。那么在樣本數(shù)據(jù)很大時(shí)，比如十萬(wàn)、百萬(wàn)的數(shù)據(jù)量時(shí)，這樣計(jì)算資源的消耗就太大了，而且是不必要的。

使用小批量，就是起到部分代表整體的作用。我們假裝一個(gè)小批量，就體現(xiàn)著整個(gè)數(shù)據(jù)集的特征。然而這難免有些片面性，通過(guò)小批量所指引的 w ww 前進(jìn)的方向，有可能從整個(gè)的數(shù)據(jù)集中來(lái)看并不是恰當(dāng)?shù)姆较?。因此，我們把一個(gè)數(shù)據(jù)集劃分成許多個(gè)小批量后，每個(gè)小批量都會(huì)使用，且會(huì)進(jìn)行多輪（多個(gè)周期）的訓(xùn)練，以將整個(gè)數(shù)據(jù)集的特征都充分展現(xiàn)出來(lái)。

這里給大家準(zhǔn)備了一些我精心挑選的AI的學(xué)習(xí)資料。關(guān)注VX公眾H【咕泡AI】回復(fù)【333】即可領(lǐng)取！

①10G教學(xué)視頻包（附課件+代碼）

②AI人工智能：54份行業(yè)重磅報(bào)告匯總

③能寫(xiě)進(jìn)簡(jiǎn)歷的企業(yè)級(jí)項(xiàng)目實(shí)戰(zhàn)。

④100篇+深度學(xué)習(xí)論文合集

⑤人工智能必讀書(shū)籍

⑥專屬學(xué)習(xí)路徑規(guī)劃

⑦不定期大神直播，學(xué)習(xí)和困惑解答

⑧拿來(lái)就能跑通的論文復(fù)現(xiàn)代碼講解及數(shù)據(jù)集

這些資料都比較珍貴，但是對(duì)自我的職業(yè)發(fā)展價(jià)值則是無(wú)價(jià)的！

別慌，這些資料這一次全部免費(fèi)分享給大家。覺(jué)得好，就不要吝嗇你的三連哦，這樣我才有動(dòng)力持續(xù)更新哦??