池化層

卷積層對(duì)位置信息是非常敏感的

• x最左邊第二列和第三列中間有一個(gè)邊緣，如果用一個(gè)1*2的卷積核（一邊是1，一邊是-1），就會(huì)在輸出的第二列全部為1，也就意味著將邊緣全部檢測(cè)出來(lái)了，但是這一列的左邊是0右邊也是0，也就是說(shuō)它對(duì)位置是非常敏感的，一個(gè)像素的偏移就會(huì)導(dǎo)致0輸出
• 所以這不是一件特別好的事情，因?yàn)檫吘壴谡鎸?shí)圖片中很有可能不是很規(guī)矩，可能會(huì)有彎曲的地方，而且相機(jī)的抖動(dòng)或者物體的移動(dòng)都會(huì)導(dǎo)致邊緣發(fā)生變化，所以需要一定的平移不變性（輸入稍微有一點(diǎn)改動(dòng)，輸出不會(huì)有太大的變化，減低卷積核對(duì)位置的敏感程度）

二維最大池化

• 工作原理和卷積有點(diǎn)類(lèi)似，有一個(gè)窗口在輸入上滑動(dòng)，得到輸出
• 但是這里的操作不是像卷積核一樣讓卷積核和輸入做點(diǎn)積然后加起來(lái)，而是每一次將滑動(dòng)窗口中的最大值取出來(lái)作為輸出值（最大池化）
• 簡(jiǎn)單來(lái)講就是用滑動(dòng)窗口來(lái)計(jì)算輸出，但是每一次不用核做計(jì)算，而是將滑動(dòng)窗口中的最大值輸出

• 上圖的目的是要做垂直邊緣檢測(cè)，最左邊的矩陣是輸入，中間的矩陣是卷積輸出，如果在卷積輸出的基礎(chǔ)上再做一次2*2的最大池化可以得到最右邊的矩陣（上圖中最右邊的矩陣多了一列1）
• 上圖中可以發(fā)現(xiàn)2*2得最大池化層可以容忍最大1個(gè)像素的偏移
• 最大池化層可以允許輸入發(fā)生一定程度上的小偏移，而且作用在卷積輸出上，可以增加一點(diǎn)模糊化的效果

池化層的其他超參數(shù)：填充、步幅和多個(gè)通道

• 填充和步幅是和卷積類(lèi)似的兩個(gè)超參數(shù)
• 池化沒(méi)有可以學(xué)習(xí)的參數(shù)，它不需要學(xué)習(xí)核里面的參數(shù)，因?yàn)樗褪且粋€(gè)取最大值的操作
• 池化層作用于多輸入通道的輸入的時(shí)候，對(duì)每一個(gè)輸入通道都做一次池化層的操作得到對(duì)應(yīng)的輸出通道，而不像卷積一樣可以融合多個(gè)通道，池化是不會(huì)融合多個(gè)通道的，他是每一個(gè)通道做一次池化層，也就意味著輸出的通道數(shù)是等于輸入通道數(shù)的，相對(duì)來(lái)說(shuō)比較簡(jiǎn)單
• 池化操作為什么不做多通道的融合？因?yàn)槎嗤ǖ廊诤峡梢越唤o卷積來(lái)進(jìn)行，就可以將池化層做的相對(duì)比較簡(jiǎn)單

平均池化層

• 另外一個(gè)常用的池化層，就是將最大池化層中取最大值的操作變成求平均值的操作
• 最大池化層和平均池化層的區(qū)別：最大池化層輸出的是每個(gè)窗口中最強(qiáng)的信號(hào)，平均池化層輸出的是每個(gè)窗口中平均的信號(hào)強(qiáng)度

總結(jié)

• 池化層的主要作用是用來(lái)緩解卷積層位置的敏感性
• 通常池化層之作用在卷積層的后面
• 池化層和卷積層不一樣的地方在于池化層對(duì)每個(gè)通道分別作用、直接輸出，沒(méi)有輸出通道數(shù)這個(gè)超參數(shù)，輸入通道數(shù)是一定等于輸出通道數(shù)的
• 池化層沒(méi)有可以學(xué)習(xí)的超參數(shù)，所以池化層是不會(huì)使模型變大的

----end----