人工智能

機(jī)器學(xué)習(xí)跟深度學(xué)習(xí)關(guān)系：（主要對深度學(xué)習(xí)研究）

深度學(xué)習(xí)是包含的機(jī)器學(xué)習(xí)中，其中用到機(jī)器學(xué)習(xí)的某方面知識，但不是全部，機(jī)器學(xué)習(xí)是指一個(gè)確定的函數(shù)給到機(jī)器，深度學(xué)習(xí)是類似小孩，給數(shù)據(jù)叫小孩進(jìn)行處理，得出的結(jié)果，告訴他是錯誤還是正確，讓進(jìn)一步修改。

卷積 卷積核（過濾器）卷積是指一個(gè)操作，是一種處理方法，提取特征，可以對圖片進(jìn)行處理操作（如邊間檢測，橫邊檢測，豎邊檢測，還有銳化操作）?？梢园褜@些操作具體為卷積核（過濾器）。

1 0 -1

1 0 -1

1 0 -1

其中1，0，-1為權(quán)重，過濾器有著固定的權(quán)重。

卷積工作過程（已知）

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)包括卷積層和池化層以及全連接層構(gòu)成，其中卷積神經(jīng)網(wǎng)絡(luò)主要是構(gòu)建過濾器。卷積層包括很多過濾，一般過濾器和輸入的深度相同，（例如對圖片處理大多是5*5*3，高一般為3，因?yàn)閳D片一般都只有3個(gè)顏色通道，紅黃藍(lán)，也就是這個(gè)3）。池化層減少數(shù)據(jù)，簡化過程，（例如最大池化和平均池化）

全連接層是指把經(jīng)過卷積層和池化層提取的特征，進(jìn)行比對產(chǎn)生結(jié)果。

損失函數(shù)

產(chǎn)生的結(jié)果和預(yù)測值還是有差距，損失函數(shù)可以計(jì)算其預(yù)測值和真實(shí)值的差別，實(shí)現(xiàn)預(yù)測值與真實(shí)值的誤差最小化。這個(gè)尋找最優(yōu)模型參數(shù)的方法即為優(yōu)化算法。

優(yōu)化算法

梯度 梯度下降?

梯度為函數(shù)在一個(gè)點(diǎn)變化的向量，最大梯度為在這個(gè)點(diǎn)變化最大的一個(gè)值（例子：

最大導(dǎo)數(shù)就是1+22 然后根號）

梯度方向就是這個(gè)在這個(gè)點(diǎn)增長最快的方向，參數(shù)變化沿著這個(gè)反方即曾為梯度下降，就是相當(dāng)于在一個(gè)山頂，一直沿著最陡的地方向下，如果上面不是反方向就是向上了

反向傳播

反向傳播算法目前是神經(jīng)網(wǎng)絡(luò)得以不斷更新以至于讓損失函數(shù)達(dá)到最小值的關(guān)鍵算法。是一種與最優(yōu)化方法（如梯度下降法）結(jié)合使用的，用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見方法。

它的基本思想為：

(1)先計(jì)算每一層的狀態(tài)和激活值，直到最后一層（即信號是前向傳播的）；

(2)計(jì)算每一層的誤差，誤差的計(jì)算過程是從最后一層向前推進(jìn)的（即誤差是反向傳播的）；

(3)計(jì)算每個(gè)神經(jīng)元連接權(quán)重的梯度；

(4)根據(jù)梯度下降法則更新參數(shù)（目標(biāo)是誤差變小）。

迭代以上步驟，直到滿足停止準(zhǔn)則（比如相鄰兩次迭代的誤差的差別很?。?。