A2Attention的核心思想是首先將整個(gè)空間的關(guān)鍵特征收集到一個(gè)緊湊的集合中，然后自適應(yīng)地將其分布到每個(gè)位置，這樣后續(xù)的卷積層即使沒有很大的接收域也可以感知整個(gè)空間的特征。第一級(jí)的注意力集中操作有選擇地從整個(gè)空間中收集關(guān)鍵特征，而第二級(jí)的注意力集中操作采用另一種注意力機(jī)制，自適應(yīng)地分配關(guān)鍵特征的子集，這些特征有助于補(bǔ)充高級(jí)任務(wù)的每個(gè)時(shí)空位置。整體結(jié)構(gòu)如下圖所示。

?

論文地址：https://arxiv.org/pdf/1810.11579.pdf

代碼倉庫：https://github.com/pijiande/A2Net-DoubleAttentionlayer

模型結(jié)構(gòu)

Double Attention Block的整體結(jié)構(gòu)圖如下所示：

Double Attention Block的整體結(jié)構(gòu)分為Feature Gathering和Feature Distribution，整體結(jié)構(gòu)還是整齊簡單的，這兩個(gè)模塊分別包含維度減少（Dimention Reduction）、卷積（Convolution）、Sofemax層、池化層（Bilinear Pooling）和矩陣相乘（Matrix Multiplication）操作。

實(shí)現(xiàn)代碼

?

YOLOv5模型改進(jìn)

本文在YOLOv5目標(biāo)檢測算法的Backbone和Head部分分別加入DoubleAttention來增強(qiáng)目標(biāo)提取能力，以下分別是在Backbone以及Head中改進(jìn)的模型結(jié)構(gòu)和參數(shù)（以YOLOv5s為例）。

在Backbone部分

?

在Head部分

總結(jié)

A2Attention首先將整個(gè)空間的關(guān)鍵特征收集到一個(gè)緊湊的集合中，然后自適應(yīng)地將其分布到每個(gè)位置，這樣后續(xù)的卷積層即使沒有很大的接收域也可以感知整個(gè)空間的特征。此外，DoubleAttention可進(jìn)一步應(yīng)用于YOLOv7、YOLOv8等模型中，歡迎大家關(guān)注本博主的微信公眾號(hào) BestSongC，后續(xù)更多的資源如模型改進(jìn)、可視化界面等都會(huì)在此發(fā)布。另外，本博主最近也在MS COCO數(shù)據(jù)集上跑了一些YOLOv5的改進(jìn)模型，實(shí)驗(yàn)表明改進(jìn)后的模型能在MS COCO 2017驗(yàn)證集上分別漲點(diǎn)1-3%，感興趣的朋友關(guān)注后回復(fù)YOLOv5改進(jìn)

?