摘要

視皮層神經(jīng)元的感受野大小受刺激的調(diào)節(jié)即對(duì)于不同的刺激，卷積核的大小應(yīng)該不同，但在構(gòu)建CNN時(shí)一般在同一層只采用一種卷積核，很少考慮因采用不同卷積核。于是SKNet被提出，在SKNet中，不同大小的感受視野（卷積核）對(duì)于不同尺度的目標(biāo)會(huì)有不同的效果。盡管在Inception中使用多個(gè)卷積核來適應(yīng)不同尺度圖像，但是卷積核權(quán)重相同，也就是參數(shù)就是被計(jì)算好的了。而SKNet 對(duì)不同輸入使用的卷積核感受野不同，參數(shù)權(quán)重也不同，可以根據(jù)輸入大小自適應(yīng)地進(jìn)行處理。SKNet提出一種動(dòng)態(tài)選擇機(jī)制，允許每個(gè)神經(jīng)元根據(jù)輸入信息的多個(gè)尺度自適應(yīng)調(diào)整其接受野的大小。設(shè)計(jì)了一種稱為選擇性內(nèi)核(Selective Kernel)單元的構(gòu)建模塊，在該模塊中，由不同內(nèi)核大小的多個(gè)分支的信息引導(dǎo)，使用Softmax的注意力進(jìn)行融合，從而對(duì)這些分支的不同關(guān)注導(dǎo)致融合層神經(jīng)元有效感受野的大小不同。

論文地址：https://arxiv.org/pdf/1903.06586.pdf

代碼地址：https://github.com/implus/SKNet

模型結(jié)構(gòu)

SKNet網(wǎng)絡(luò)主要由三個(gè)部分組成：Split、Fuse、Select。其中，Split部分將輸入信息分別輸入不同的核大小（這里是2個(gè)卷積核，卷積核大小分別為：3*3?和?5*5）；Fuse部分進(jìn)行特征融合；Select部分根據(jù)計(jì)算得到的權(quán)重對(duì)相應(yīng)的特征進(jìn)行選擇操作。

Split部分

對(duì)于輸入信息X，在Split中分別輸入兩個(gè)卷積層（默認(rèn)為2個(gè)，根據(jù)需要可以設(shè)計(jì)多個(gè)），兩個(gè)卷積核的尺寸分別為3*3和5*5。其中，每個(gè)卷積層都是由高效的分組/深度卷積、批處理歸一化和ReLU函數(shù)依次組成的。另外，為了進(jìn)一步提高效率，將具有5*5核的傳統(tǒng)卷積替換為具有3×3核和膨脹大小為2的擴(kuò)展卷積。最終得到中間層輸出特征圖。

Fuse部分

基本思想是使用門來控制來自多個(gè)分支的信息流，這些分支攜帶不同尺度的信息到下一層的神經(jīng)元中。為實(shí)現(xiàn)這一目標(biāo)，門需要整合來自所有分支的信息。該模塊首先通過Element-wise Summation操作來融合來自多個(gè)分支的結(jié)果，再使用全局平均池化以生成Channel-wise統(tǒng)計(jì)信息來生成全局信息，此外還創(chuàng)建一個(gè)緊湊的特征z以便為精確和自適應(yīng)選擇提供指導(dǎo)，這是通過一個(gè)簡(jiǎn)單的全連接層實(shí)現(xiàn)的，降低了維度同時(shí)提高效率。

Select部分

Select操作使用a和b兩個(gè)權(quán)重矩陣分別對(duì)中間層輸入特征圖進(jìn)行加權(quán)操作，然后求和得到最終的輸出向量。

實(shí)現(xiàn)代碼

YOLOv5模型改進(jìn)

本文在YOLOv5目標(biāo)檢測(cè)算法的Backbone和Head部分分別加入SKAttention來增強(qiáng)目標(biāo)提取能力，以下分別是在Backbone以及Head中改進(jìn)的模型結(jié)構(gòu)和參數(shù)（以YOLOv5s為例）。

在Backbone部分

Head部分

總結(jié)

SKNet中使用了不同的卷積核，且卷積核權(quán)重是不同的，這有助于模型學(xué)習(xí)不同尺寸目標(biāo)的特征信息，其被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割等計(jì)算機(jī)視覺任務(wù)。本文在YOLOv5目標(biāo)檢測(cè)算法基礎(chǔ)上引入SKAttention來進(jìn)一步增強(qiáng)模型對(duì)多尺寸目標(biāo)的特征提取能力，并輸出改進(jìn)后模型每層的輸出與模型參數(shù)、梯度和計(jì)算量。此外，SKAttention可進(jìn)一步應(yīng)用于YOLOv7、YOLOv8等模型中，歡迎大家關(guān)注本博主的微信公眾號(hào) BestSongC，后續(xù)更多的資源如模型改進(jìn)、可視化界面等都會(huì)在此發(fā)布。另外，本博主最近也在MS COCO數(shù)據(jù)集上跑了一些YOLOv5的改進(jìn)模型，實(shí)驗(yàn)表明改進(jìn)后的模型能在MS COCO 2017驗(yàn)證集上分別漲點(diǎn)1-3%，感興趣的朋友關(guān)注后回復(fù)YOLOv5改進(jìn)

?