多個輸入和輸出通道

神經(jīng)網(wǎng)絡中另外一個重要的超參數(shù)是通道數(shù)

多個輸入通道

• mnist數(shù)據(jù)集中的圖片是灰度圖片，只有一個通道
• 一張彩色圖片是由紅綠藍三個通道組成的，所以圖片在表示的時候通道數(shù)是3

例（輸入是一個三維的tensor）

• 每一個通道都有對應的卷積核
• 每個通道的輸入和對應通道的卷積核做卷積，然后將得到的各個通道上的輸出進行疊加（對應位置上的元素相加）得到最終的結果
• 計算公式如下圖所示

• 輸出是單通道的，不管輸入有多少個通道，輸出是他們輸出結果的疊加，所以始終是單通道

多個輸出通道

• 為什么要有多個輸出通道？因為不管有多少個輸入通道只會得到單輸出通道的話是不夠的
• 如果對每一個輸出通道有一個三維的卷積核，這個卷積核會輸出自己的通道（就相當于在三維的基礎上又加了一維 i ，這一維表示輸出的通道數(shù)）
• 這里輸入和輸出通道是沒有相關性的

多個輸入和輸出特征

• 每個輸出通道可以認為是在識別某一個特定的模式（特征），通過學習不同卷積核的參數(shù)來匹配某一個特定的模式
  ?

  多輸入輸出通道 P1 - 08:02

  ?
• 從某一層的角度來看，輸入通道的卷積核可以將上一層得到的不同模式進行識別和組合，按照一定的權重進行相加組合，得到了組合的模式識別
  ?

  多輸入輸出通道 P1 - 08:59

  ?
• 對于一個深度的神經(jīng)網(wǎng)絡來說，下面的一些層的不同通道用來識別一些不同的局部的底層信息（邊、紋理），越往上，上層會將局部的紋理組合起來，變成更加高級，較之前更加整體性的模式（特征，如耳朵、胡須等），最上面將所有識別的模式組合起來就形成了所要識別的類別（貓）

1*1的卷積層

• 卷積核的高和寬都等于1，意味著它不會識別空間信息，因為他每次只看一個空間像素所以不會去識別通道中的空間信息
• 輸出的值等價于將對應的輸入位置上的不同通道上的值做加權和
• 1*1卷積核的作用就是去融合不同通道的信息可以認為是不做空間的匹配，只是在輸入層直接做輸入通道和輸出通道的融合，等價于將整個輸入拉成一個向量，通道數(shù)等于feature的數(shù)量，卷積核相當于一個co*ci的全部連接層
  ?

  多輸入輸出通道 P1 - 11:34

  ?
• 1*1的卷積層就等價于一個全連接層，不做任何的控制信息，因為全連接層不考慮空間信息它只考慮在特征維度（也就是輸入通道維數(shù)）的融合
• 它是一個特殊的卷積層

二維卷積層

• 復雜度（需要的浮點運算的程度）的計算

總結

• 輸入通道數(shù)不是卷積層的超參數(shù)，它是前一層的
• 所以最后的卷積核是一個4維的張量

----end----