AlexNet

• ISVRC：一個用于圖像分類的數(shù)據(jù)集，屬于ImageNet的一個子集

網(wǎng)絡的亮點

• 高端GPU的提速比可以達到CPU的20-50倍的速度差距
• sigmoid激活函數(shù)的兩個缺點：1、求導的過程比較麻煩；2、當網(wǎng)絡比較深的時候會出現(xiàn)梯度消失的現(xiàn)象。Relu能夠解決以上問題
• dropout操作可以減少過擬合現(xiàn)象

過擬合

• 第一幅圖是網(wǎng)絡的一個初始狀態(tài)，隨機地劃分了一條邊界對于樣本進行分類
• 通過不斷的訓練過程中，網(wǎng)絡會慢慢學習出一條分類的邊界如第二幅圖所示，得到了一個比較好的分類的結果
• 第三幅圖雖然能夠?qū)⒂柧殬颖具M行完全正確的分類，但是圖中出現(xiàn)了過擬合現(xiàn)象
• 過擬合的函數(shù)能夠完美地預測訓練集，但是對新數(shù)據(jù)的測試機預測效果較差，過度的擬合了訓練數(shù)據(jù)，而沒有考慮到泛化能力

出現(xiàn)過擬合現(xiàn)象的原因有很多：

• 網(wǎng)絡中參數(shù)過多
• 模型過于復雜
• 訓練數(shù)據(jù)過少等

使用dropout減少過擬合現(xiàn)象

• 左圖是一個正常的全連接的正向傳播過程，每一個節(jié)點都與下層的節(jié)點進行全連接
• 使用了dropout之后，會在每一層隨機地失活一部分神經(jīng)元，變相地減少了網(wǎng)絡中訓練的參數(shù)，從而達到了減少過擬合現(xiàn)象的作用

AlexNet網(wǎng)絡結構

卷積或者池化之后高度和寬度的計算公式：

• 這個圖可以看成上下兩部分：作者使用了兩塊GPU進行了并行運算
• 上下兩部分都是一樣的，只用看其中一部分即可

第一層（Conv1）

• 原始圖像是一個224*224的channel為3的彩色圖像
• 卷積核大小是11*11
• 步長為4
• 卷積核的大小為11
• 一共有48*2=96個卷積核
• 可以推理出padding的大小是1和2：表示在特征矩陣的左邊加上一列0，右邊加上兩列0，上面加上一列0，下面加上兩列0（注意代表padding的2p值的是兩邊padding的像素之和，并不一定要求兩邊像素一定要一樣）

Maxpooling1

• 最大池化下采樣操作
• 池化核大小等于3
• padding為0
• 步長為2
• 這一層的輸入是第一層卷積層的輸出
• 池化操作只會改變輸出矩陣的高度和寬度，不會改變特征矩陣的深度

Conv2

• 卷積核的個數(shù)為128*2=256
• 卷積核的大小為5
• padding為【2，2】
• 步長為1

Maxpooling

• 池化核大小為3
• padding為0
• 步長等于2

Conv3

• 卷積核的個數(shù)為192*2=384
• 卷積核的大小為3
• padding為【1，1】
• 步長為1

Conv4

• 卷積核的個數(shù)為192*2=384
• 卷積核的大小為3
• padding為【1，1】
• 步長為1

Conv5

• 卷積核的個數(shù)為128*2=256
• 卷積核的大小為3
• padding為【1，1】
• 步長為1

Maxpooling

• 池化核的大小為3
• padding等于0
• 步長為2
• 輸出的特征矩陣展平之后和三個全連接層進行連接（注意最后一個全連接層只有1000個節(jié)點，對應數(shù)據(jù)集的1000個類別，如果要將這個網(wǎng)絡應用到自己的數(shù)據(jù)集的話，只需要將最后一層全連接層的節(jié)點個數(shù)改成和自己數(shù)據(jù)集的類別數(shù)一致即可）

下載花分類數(shù)據(jù)集

----end----