深度學習-圖像篇-神經(jīng)網(wǎng)絡常用激活函數(shù)
1.???? 人工智能的目標：
a)????? 讓機器人和人一樣思考：機器學習
b)????? 讓機器人和人一樣聽懂：語音識別
c)?????? 讓機器人和人一樣看懂：視覺識別
d)????? 讓機器人和人一樣運動：運動控制
2.???? 人工智能、機器學習、深度學習的關(guān)系：
??機器學習是實現(xiàn)人工智能的一種途徑，
??深度學習是機器學習的一個子集。
??傳統(tǒng)機器學習和深度學習的區(qū)別：
傳統(tǒng)機器學習算術(shù)依賴??設計特征，并進?特征提取，
深度學習?法不需要??，依賴算法?動提取特征。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
3.???? 機器視覺任務進行目標拆分：
a)????? 理解圖?中的場景（辦公室，客廳，咖啡廳等）
b)????? 識別場景中包含的物體（寵物，交通?具，?等）
c)?????? 定位物體在圖像中的位置（物體的??，邊界等）
d)????? 理解物體之間的關(guān)系或?為（是在對話，?賽或吵架等）
e)????? 理解圖像表達的意義（喜慶的，悲傷的等）
分為三?經(jīng)典任務：圖像分類、?標檢測、圖像分割
?圖像分類（Classification）將圖像結(jié)構(gòu)化為某一類別(category)的信息
? ?標檢測（Detection）：檢測則關(guān)注特定的物體?標，要求同時獲得這??標的類別信息和位置信息（classification + localization）。
? 圖像分割（Segmentation）：對圖像的像素級描述，它賦予每個像素類別（實例）意義
4.???? 神經(jīng)網(wǎng)絡：
????神經(jīng)?絡（ Artificial Neural Network， 簡寫為ANN）也簡稱為神經(jīng)?絡（NN）
??人工神經(jīng)元（神經(jīng)網(wǎng)絡組成結(jié)構(gòu)）：
x：輸入特征矩陣
w：特征權(quán)重
b：偏置參數(shù)
f：激活函數(shù)（activation function）
?神經(jīng)網(wǎng)絡
????? 神經(jīng)網(wǎng)絡特點：
? 同?層的神經(jīng)元之間沒有連接。
? 第N層的每個神經(jīng)元和第N-1層的所有神經(jīng)元相連(這就是full connected的含義)，第N-1層神經(jīng)元的輸出就是第N層神經(jīng)元的輸 ?。
? 每個連接都有?個權(quán)值。??
?
5.???? 激活函數(shù)
激活函數(shù)本質(zhì)：向神經(jīng)?絡中引??線性因素
非線性激活函數(shù)的優(yōu)點：如果不?激活函數(shù)， 每?層輸出都是上層輸?的線性函數(shù)，?論神經(jīng)?絡有多少層，輸出都是輸?的線性組合。而引??線性函數(shù)作為激活函數(shù)，那輸出不再是輸?的線性組合，可以逼近任意函數(shù)。
?
6.???? 常見激活函數(shù)--- Sigmoid/logistics（同名）
數(shù)學表達式：
??????
??? 表達式圖像：
??????
優(yōu)點：
sigmoid 在定義域內(nèi)處處可導
??? 缺點：
? 梯度消失：如果X的值很? 或者很?的時候，那么函數(shù)的梯度（函數(shù)的斜率）會?常?，在反向傳播 的過程中，導致了向低層傳遞的梯度也變得?常?。（一般5層會出現(xiàn)梯度消失問題）
? 激活函數(shù)并不是以0為中?的
??? 總結(jié)：
??? ??? sigmoid函數(shù)?般只?于?分類的輸出層
??? tensorflow實現(xiàn)：
?????? y = tf.nn.sigmoid(x)
7.???? 常見激活函數(shù)---tanh(雙曲正切曲線)
數(shù)學表達式：
?????? ?? ? ? ? ? ? ? ? ? ?
?表達式圖像：
??????
????優(yōu)點：
激活函數(shù)是以0為中?的，值域較大，斜率較大，收斂速度要?sigmoid快，減少迭代次數(shù)。
?
??? 缺點：
????? 依然存在梯度消問題：通過歸一化，當輸入∈[-1, 1] 時可以解決梯度消失問題
????? 總結(jié)：
??? ??? tanh函數(shù)常在隱藏層使?
??? tensorflow實現(xiàn)：
?????? y = tf.nn.tanh(x)
b站的富文本編輯器太難用了，先寫到這里。 后邊研究一下怎么用markdown方便一些
