SE-Net

從卷積操作的基本原理來進(jìn)行考慮

• wi 是一個(gè)卷積核，在一個(gè)小的空間范圍內(nèi)去組合上一層feature map中的一些特性，通道上也做了一些組合，將加權(quán)之后的值組合到一起，組合到下一層特征圖上的值

怎樣提高卷積操作的可學(xué)習(xí)性、可表達(dá)性

• 左側(cè)是一個(gè) inception 的結(jié)構(gòu)，主要作用是對(duì)卷積進(jìn)行拆分，拆分成多尺度的1*1、3*3、5*5的卷積，分別對(duì)上一層輸出的feature map 進(jìn)行卷積，卷積之后將他們得出的feature map進(jìn)行concat
• 如果優(yōu)化算法或者卷積能力足夠強(qiáng)的話，理論上用一個(gè)5*5的卷積就能夠達(dá)到上述效果，但是實(shí)際情況中很難提取到想到的屬性和特性（多尺度信息）
• 在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的建造過程中，如果想要某種屬性，直接將這種屬性建模在神經(jīng)網(wǎng)絡(luò)中還是很有必要的
• 右圖中所要表達(dá)的是在空間中做了不同方向的東西

• 卷積的兩個(gè)特性：空間上的和通道上的
• 顯式地將通道之間的相互關(guān)系建模到神經(jīng)網(wǎng)絡(luò)的module中，這樣比起用標(biāo)準(zhǔn)的module能夠得到性能上的增益
• 通道之間的相互關(guān)系：可以對(duì)不同的通道做不同的加權(quán)，這樣有用的特征會(huì)被放大，沒有用的特征就會(huì)被抑制

• 上圖是SE module的主要框架
• Sqeeze操作：將spatial上的信息直接壓縮成為一個(gè)數(shù)，相當(dāng)于將每一個(gè)通道直接壓縮成一個(gè)標(biāo)量
• Excitation操作：通過輸入算出不同通道的權(quán)值，有了不同通道的權(quán)值，就能夠?qū)⑺说街暗膄eature map中，從而得到一個(gè)被重新加權(quán)后的feature map，直接將其作為整個(gè)block的輸出
• Scale操作：
• Sqeeze和Excitation的選擇很多

• 左側(cè)是一個(gè)inception的例子
  ?

  07:59

  ?
• Sqeeze操作采用average pooling操作將c*h*w變?yōu)閏*1*1,用以保持原有特征的能量
• c / 16 ：對(duì)模型的通道數(shù)進(jìn)行降維
• 右側(cè)是針對(duì)有殘差網(wǎng)絡(luò)的情況
  ?

  13:27

  ?
• 只對(duì)殘差的部分進(jìn)行了SE模塊的修改，跟左側(cè)沒有太大的區(qū)別

網(wǎng)絡(luò)結(jié)構(gòu)圖

模型和計(jì)算的復(fù)雜度

訓(xùn)練

和其他網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合

關(guān)于降維的系數(shù)“16”

和其他算法的比較

場(chǎng)景分類上的結(jié)果

----end----