卷積層

卷積是整個(gè)深度學(xué)習(xí)中最重要的概念之一

從一個(gè)簡(jiǎn)單的圖片分類(lèi)的例子出發(fā)：分類(lèi)貓和狗

• 假設(shè)用手機(jī)拍攝了一張1200萬(wàn)像素的照片，而且是RGB圖片，有R、G、B三個(gè)通道（channel），也就是有3600萬(wàn)個(gè)像素，每個(gè)像素對(duì)應(yīng)有一個(gè)值
• 假設(shè)用一個(gè)單隱藏層的MLP來(lái)進(jìn)行訓(xùn)練，隱藏層的大小是100，那么這個(gè)模型就有36億個(gè)參數(shù)，這個(gè)數(shù)量遠(yuǎn)多于世界上所有的貓和狗的總數(shù)，還不如將所有的貓和狗全部記下來(lái)
• 所以這就是當(dāng)使用MLP，特別是比較大的圖片的時(shí)候所遇到的問(wèn)題

MLP

• 輸入有3600萬(wàn)個(gè)特征
• 隱藏層中有100個(gè)神經(jīng)元，那么隱藏層一共就有100*3600萬(wàn)個(gè)參數(shù)，共36億，大概是14GB，單層在不算運(yùn)算的情況下就需要14GB的GPU內(nèi)存，那么多層就更加困難了

在圖片中找出指定的人物形象

在找的時(shí)候有兩個(gè)原則

• 平移不變形：在任何一個(gè)地方，識(shí)別器不會(huì)因?yàn)閳D片像素出現(xiàn)的位置而發(fā)生改變
• 局部性：只需要看到局部的信息就可以了，而不需要看到全局的信息

怎樣從全連接層出發(fā)，應(yīng)用上面兩個(gè)原則，得到卷積

• 之前的全連接層的輸入輸出是一維的向量，這里為什么又還原成了矩陣？因?yàn)橐紤]空間的信息，所以將輸入和輸出變成矩陣，它有寬度和高度這兩個(gè)維度
• 對(duì)應(yīng)的可以將權(quán)重變成一個(gè)4維的張量，之前是輸入的長(zhǎng)度到輸出的長(zhǎng)度的變化，現(xiàn)在變成了輸入的高寬到輸出的高寬的變化，所以可以將它reshape成為一個(gè)4D的張量（加了高和寬兩個(gè)維度，變成了4維，這里i、j對(duì)應(yīng)的是輸出的值在輸出矩陣上的位置，k、l對(duì)應(yīng)的是輸入的值在輸入矩陣上的位置，所以這里就抽象成了一個(gè)4維的張量，之前的權(quán)重之所以是2維的張量是因?yàn)橹暗妮斎胼敵龆际且痪S的向量，也可以理解成第一維表示輸出向量的位置，第二維表示輸入向量的位置，這里因?yàn)橛诌€原成了矩陣，所以輸入輸出都變成了二維向量，所以說(shuō)權(quán)重也變成了4維的張量）
• w表示全連接層的權(quán)重，之前是2維的現(xiàn)在變成了4維，求和的是k和l兩個(gè)坐標(biāo)，遍歷兩個(gè)維度再求和，其實(shí)和二維張量表示的權(quán)重求和是類(lèi)似的如下圖所示

• 然后對(duì)W進(jìn)行重新索引，將W中的元素進(jìn)行重新排列，組成V，將W的下標(biāo)變化一下從而引出卷積
• 總的來(lái)說(shuō)就是將全連接層的輸入輸出變成二維的，然后將權(quán)重做一些變換

平移不變性

• 上圖中第一個(gè)公式所存在的問(wèn)題在于：輸入x的平移會(huì)最終導(dǎo)致輸出h的平移（hij等于后面的多項(xiàng)式的和，如果x換了一個(gè)新的坐標(biāo)的話，則x中對(duì)應(yīng)的每一項(xiàng)的v也會(huì)發(fā)生變化，因?yàn)関ijab不僅考慮了輸出h的絕對(duì)位置ij，也考慮了輸入x相對(duì)于h的相對(duì)位置ab），所以根據(jù)平移不變性，不希望v考慮ij，不管輸入x如何變化，輸出h應(yīng)該始終是不變的，所以需要加一個(gè)限制讓v對(duì)ij不變，只隨著ab的變化而變化。這里其實(shí)就已經(jīng)和卷積類(lèi)似了，這個(gè)求和可以理解成為一個(gè)a*b的矩陣感受野，ij分別對(duì)應(yīng)的是輸入x和輸出h的某一個(gè)元素的坐標(biāo)
• 這就是二維卷積，其實(shí)在嚴(yán)格意義上來(lái)說(shuō)是二維上的交叉相關(guān)

平移不變性使得對(duì)權(quán)重做了一定的限制，去掉了權(quán)重的i、j維度，只剩下a、b維度，最后直接得到了二維卷積交叉相關(guān)的計(jì)算，所以可以認(rèn)為二維卷積就是全連接或者說(shuō)是矩陣的乘法，但是改變了一些權(quán)重，使得他里面的一些東西是重復(fù)的，也就是說(shuō)，他不是每一個(gè)元素都是可以自由變換的（當(dāng)把一個(gè)模型的取值范圍限制之后，模型的復(fù)雜度就降低了，同樣也就意味著不需要存取大量的元素）

局部性

• 局部性是說(shuō)假設(shè)需要計(jì)算hij的輸出的話，輸入以ij為中心所有的地方都會(huì)去看，但是實(shí)際上不應(yīng)該看得太遠(yuǎn)，hij的結(jié)果只應(yīng)該由輸入xij附近的點(diǎn)決定就可以了。也就是說(shuō)，可以做一些限制（當(dāng)a或者b的絕對(duì)值大于某一個(gè)數(shù)值的時(shí)候，就使得vab等于0），也就是說(shuō)對(duì)于xij這個(gè)點(diǎn)，如果某點(diǎn)到它的距離超過(guò)某一個(gè)數(shù)值的時(shí)候就可以不用考慮了
• 最下面的公式等于是說(shuō)對(duì)于Xij，只需要對(duì)于i往前Δ距離和往后Δ距離，對(duì)于j往前Δ距離和往后Δ距離的范圍內(nèi)進(jìn)行求和，如下圖所示

總結(jié)

• 所以說(shuō)卷積是一個(gè)特殊的全連接層
• 將a和b限制在一個(gè)很小的值

卷積層

二維交叉相關(guān)

• kernel：卷積核

二維卷積層

• 這里在邊界上會(huì)丟掉一點(diǎn)東西（可以用池化操作來(lái)解決）
• 這里的 * 代表的是二維交叉相關(guān)的操作

例

• 不同的卷積核可以帶來(lái)不同的效果，神經(jīng)網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)一些類(lèi)似的核來(lái)得到類(lèi)似效果

交叉相關(guān)和卷積

• 交叉相關(guān)和卷積是沒(méi)有太多區(qū)別的，唯一的區(qū)別是在卷積上a、b的值有負(fù)號(hào)（卷積在索引W的時(shí)候是反過(guò)來(lái)走的，但是因?yàn)樗菍?duì)稱(chēng)的，所以在實(shí)際使用的時(shí)候沒(méi)有任何區(qū)別，神經(jīng)網(wǎng)絡(luò)為了方便，所以沒(méi)有使用數(shù)學(xué)上嚴(yán)格定義的卷積，嚴(yán)格定義的話應(yīng)該是要反過(guò)來(lái)的）
• 這里雖然是卷積，但是實(shí)際的計(jì)算實(shí)現(xiàn)做的是交叉相關(guān)，嚴(yán)格定義上卷積應(yīng)該是反過(guò)來(lái)的交叉相關(guān)

一維和三維交叉相關(guān)

• 對(duì)一維來(lái)講W實(shí)際上就是一個(gè)向量

總結(jié)

• 超參數(shù)就是卷積核的大小，卷積核的大小控制了局部性，卷積核越大看到的范圍越廣，卷積核越小看到的范圍也就越小
• 卷積層可以看成一個(gè)特殊的全連接層
• 卷積解決了權(quán)重參數(shù)隨著輸入規(guī)模的增大而增大的問(wèn)題，通過(guò)不變性減小了權(quán)重參數(shù)的數(shù)量

----end----