加注意力機(jī)制一直深度學(xué)習(xí)論文創(chuàng)新和模型漲點(diǎn)的重要方式，但當(dāng)下簡(jiǎn)單的改變已經(jīng)不算創(chuàng)新或者漲點(diǎn)效果很不理想了，目前根據(jù)場(chǎng)景魔改注意力機(jī)制才是主流。

為了讓大家更好地改模型、找創(chuàng)新點(diǎn)，提升性能，今天學(xué)姐就給同學(xué)們梳理了23個(gè)必備的注意力機(jī)制模型，既有經(jīng)典的，也有最新前沿。

通過學(xué)習(xí)前輩們的魔改方法，我們能夠從中找到更多的啟發(fā)，獲得自己的idea，發(fā)出頂會(huì)。這些模型的論文以及代碼學(xué)姐也都整理了，這里只做簡(jiǎn)單介紹，建議同學(xué)們看原文仔細(xì)研讀。

掃碼添加小享，回復(fù)“加注意力”

免費(fèi)領(lǐng)取全部論文+模型代碼

1.即插即用CloFormer

論文：Rethinking Local Perception in Lightweight Vision Transformer

重新思考輕量級(jí)視覺變壓器中的局部感知

簡(jiǎn)述：論文介紹了一種名為CloFormer的輕量級(jí)視覺轉(zhuǎn)換器，它通過利用上下文感知的本地增強(qiáng)，提高了在圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割等任務(wù)上的性能。CloFormer通過引入一種名為AttnConv的卷積操作，結(jié)合共享權(quán)重和上下文感知權(quán)重，有效地捕捉了高頻率的本地信息。實(shí)驗(yàn)結(jié)果表明，CloFormer在各種視覺任務(wù)中具有顯著優(yōu)勢(shì)。

2.可變形大核注意力

論文：Reversible Column Networks

可逆的柱狀神經(jīng)網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了一種新的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)范式——可逆列網(wǎng)絡(luò)（RevCol）。RevCol主要由多個(gè)子網(wǎng)絡(luò)（稱為“列”）的副本組成，這些子網(wǎng)絡(luò)之間使用了多級(jí)可逆連接。這種架構(gòu)方案使得RevCol的行為與傳統(tǒng)的網(wǎng)絡(luò)非常不同：在正向傳播過程中，當(dāng)特征通過每個(gè)列時(shí)，它們被逐漸解開，同時(shí)保持總信息量，而不是像其他網(wǎng)絡(luò)那樣進(jìn)行壓縮或丟棄。

3.引入LSKnet中Lskblock注意力塊

論文：Large Selective Kernel Network for Remote Sensing Object Detection

用于遙感目標(biāo)檢測(cè)的大規(guī)模選擇性核網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了遠(yuǎn)程感應(yīng)目標(biāo)檢測(cè)新方法LSKNet，這種網(wǎng)絡(luò)可以動(dòng)態(tài)地調(diào)整其大的空間感受野，以更好地模擬遠(yuǎn)程感應(yīng)場(chǎng)景中不同物體的范圍上下文。文章中提到，這是首次在遠(yuǎn)程感應(yīng)目標(biāo)檢測(cè)領(lǐng)域探索大型和選擇性核機(jī)制。通過在標(biāo)準(zhǔn)基準(zhǔn)上使用這種技術(shù)，LSKNet在HRSC2016（98.46% mAP）、DOTA-v1.0（81.85% mAP）和FAIR1M-v1.0（47.87% mAP）等基準(zhǔn)上實(shí)現(xiàn)了新的SOTA分?jǐn)?shù)。

4.動(dòng)態(tài)稀疏注意力

論文：BiFormer: Vision Transformer with Bi-Level Routing Attention

具有雙層路由注意力的視覺Transformer

簡(jiǎn)述：該文提出了一種動(dòng)態(tài)稀疏注意力機(jī)制，通過雙層路由實(shí)現(xiàn)，可靈活分配計(jì)算，并具有內(nèi)容意識(shí)。這種機(jī)制可以過濾掉無關(guān)的鍵值對(duì)，并應(yīng)用精細(xì)的令牌到令牌注意力。作者使用這種機(jī)制構(gòu)建了一種新型通用視覺轉(zhuǎn)換器BiFormer，可以自適應(yīng)地關(guān)注查詢中的相關(guān)令牌，而不會(huì)被其他無關(guān)令牌分散注意力。

5.即插即用注意力模塊sea_AttentionBlock

論文：SEAFORMER: SQUEEZE-ENHANCED AXIAL TRANSFORMER FOR MOBILE SEMANTIC SEGMENTATION

輕量級(jí)移動(dòng)端語(yǔ)義分割模型

簡(jiǎn)述：論文介紹了一種新的方法，叫做SeaFormer，用于在移動(dòng)設(shè)備上進(jìn)行語(yǔ)義分割。這個(gè)方法設(shè)計(jì)了一個(gè)通用的注意力塊，可以用來創(chuàng)建一系列主干架構(gòu)，具有優(yōu)越的成本效益。在與輕量級(jí)分割頭配合使用時(shí)，該方法在ARM基于的移動(dòng)設(shè)備上實(shí)現(xiàn)了最佳的分割精度和延遲。

6.全新注意力機(jī)制EMA

論文：Efficient Multi-Scale Attention Module with Cross-Spatial Learning

具有跨空間學(xué)習(xí)的高效多尺度注意力模塊

簡(jiǎn)述：論文提出了一種新的高效多尺度注意力模塊（EMA），可以更好地保留每個(gè)通道的信息，減少計(jì)算開銷。該模塊將部分通道重塑為批量維度，并將通道維度分組為多個(gè)子特征，使空間語(yǔ)義特征在每個(gè)特征組內(nèi)分布良好。它還通過將全局信息編碼來重新校準(zhǔn)每個(gè)并行分支中的通道權(quán)重，并進(jìn)一步聚合兩個(gè)并行分支的輸出特征以捕獲像素級(jí)的成對(duì)關(guān)系。

7.Efficient se注意力機(jī)制

論文：CenterMask : Real-Time Anchor-Free Instance Segmentation

實(shí)時(shí)無錨點(diǎn)實(shí)例分割

簡(jiǎn)述：CenterMask是一種高效實(shí)例分割方法，它結(jié)合了FCOS檢測(cè)器和注意力引導(dǎo)掩膜分支，提高了檢測(cè)性能。文章還改進(jìn)了VoVNetV2主干網(wǎng)絡(luò)，提高了性能。CenterMask和CenterMask-Lite分別針對(duì)大型和小型模型進(jìn)行設(shè)計(jì)，CenterMask實(shí)現(xiàn)了38.3%的性能，超過了所有以前的最先進(jìn)方法，同時(shí)速度更快。

8.SGE注意力機(jī)制

論文：Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks

改進(jìn)卷積網(wǎng)絡(luò)中的語(yǔ)義特征學(xué)習(xí)

簡(jiǎn)述：這篇文章介紹了一種輕量級(jí)的神經(jīng)網(wǎng)絡(luò)模塊SGE，它可以調(diào)整卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)子特征的重要性，從而提高圖像識(shí)別任務(wù)的性能。SGE通過生成注意力因子來調(diào)整每個(gè)子特征的強(qiáng)度，有效抑制噪聲。與流行的CNN主干網(wǎng)絡(luò)集成時(shí)，SGE可以顯著提高圖像識(shí)別性能。

9.Ge注意力機(jī)制

論文：Gather-Excite: Exploiting Feature Context in Convolutional Neural Networks

利用卷積神經(jīng)網(wǎng)絡(luò)中的特征上下文

簡(jiǎn)述：論文提出了一種新的方法，通過引入兩個(gè)操作符“收集”和“激發(fā)”，來改善卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)上下文的利用。這兩個(gè)操作符可以有效地從大范圍空間中聚合響應(yīng)，并將信息重新分配給本地特征。這個(gè)方法簡(jiǎn)單且輕量級(jí)，可以輕松集成到現(xiàn)有的CNN架構(gòu)中，而且只增加了很少的參數(shù)和計(jì)算復(fù)雜性。此外，作者還提出了一種參數(shù)化的收集-激發(fā)操作符對(duì)，進(jìn)一步提高了性能，并將其與最近引入的擠壓和激勵(lì)網(wǎng)絡(luò)進(jìn)行了關(guān)聯(lián)。

10.SE注意力機(jī)制

論文：Squeeze-and-Excitation Networks

擠壓和激勵(lì)網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了“擠壓和激勵(lì)”（SE）塊，用于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能。SE塊可以適應(yīng)地重新校準(zhǔn)通道特征響應(yīng)，通過建模通道之間的相互依賴關(guān)系來增強(qiáng)CNN的表示能力。這些塊可以堆疊在一起形成SENet架構(gòu)，使其在多個(gè)數(shù)據(jù)集上具有非常有效的泛化能力。

11.Global Context注意力機(jī)制

論文：Global Context Networks

全局上下文建模網(wǎng)絡(luò)

簡(jiǎn)述：論文發(fā)現(xiàn)非局部網(wǎng)絡(luò)對(duì)全局上下文的建模對(duì)于不同查詢位置是相同的。因此，作者創(chuàng)建了一個(gè)更簡(jiǎn)單的網(wǎng)絡(luò)，只考慮查詢無關(guān)的全局上下文，減少了計(jì)算量。作者還將非局部塊的一個(gè)轉(zhuǎn)換函數(shù)替換為兩個(gè)瓶頸函數(shù)，進(jìn)一步減少了參數(shù)數(shù)量。這個(gè)新網(wǎng)絡(luò)叫做全局上下文網(wǎng)絡(luò)（GCNet），它在各種識(shí)別任務(wù)的主要基準(zhǔn)上表現(xiàn)得比非局部網(wǎng)絡(luò)更好。

12.CBAM注意力機(jī)制

論文：CBAM: Convolutional Block Attention Module

卷積塊注意力模塊

簡(jiǎn)述：這篇文章介紹了CBAM模塊，可以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能。這個(gè)模塊能夠同時(shí)關(guān)注CNN的通道和空間兩個(gè)維度，對(duì)輸入特征圖進(jìn)行自適應(yīng)細(xì)化。這個(gè)模塊輕量級(jí)且通用，可以無縫集成到任何CNN架構(gòu)中，并可以進(jìn)行端到端訓(xùn)練。實(shí)驗(yàn)表明，使用CBAM可以顯著提高各種模型的分類和檢測(cè)性能。

掃碼添加小享，回復(fù)“加注意力”

免費(fèi)領(lǐng)取全部論文+模型代碼

13.ECA注意力機(jī)制

論文：ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

深度卷積神經(jīng)網(wǎng)絡(luò)的高效通道注意力

簡(jiǎn)述：這篇文章提出了通道注意力模塊ECA，可以提升深度卷積神經(jīng)網(wǎng)絡(luò)的性能，同時(shí)不增加模型復(fù)雜性。通過改進(jìn)現(xiàn)有的通道注意力模塊，作者提出了一種無需降維的局部交互策略，并自適應(yīng)選擇卷積核大小。ECA模塊在保持性能的同時(shí)更高效，實(shí)驗(yàn)表明其在多個(gè)任務(wù)上具有優(yōu)勢(shì)。

14.GAM注意力機(jī)制

論文：Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions

保留信息以增強(qiáng)通道-空間交互

簡(jiǎn)述：這篇文章提出了一種全局注意力機(jī)制，通過減少信息損失和增強(qiáng)全局交互表示來提高深度神經(jīng)網(wǎng)絡(luò)的性能。作者引入了3D排列和多層感知器來進(jìn)行通道注意力，同時(shí)引入卷積空間注意力子模塊。在CIFAR-100和ImageNet-1K圖像分類任務(wù)上的評(píng)估表明，該方法優(yōu)于幾種最近的注意力機(jī)制，包括ResNet和輕量級(jí)的MobileNet。

15.Parnet attention注意力機(jī)制

論文：NON-DEEP NETWORKS

淺層網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了一種使用并行子網(wǎng)絡(luò)來構(gòu)建高性能“非深度”神經(jīng)網(wǎng)絡(luò)的方法，以減少深度和計(jì)算量。通過利用并行子結(jié)構(gòu)，該方法實(shí)現(xiàn)了只用12層網(wǎng)絡(luò)就能在ImageNet上達(dá)到80%以上的準(zhǔn)確率，在CIFAR10上達(dá)到96%的準(zhǔn)確率，在CIFAR100上達(dá)到81%的準(zhǔn)確率。此外，作者還分析了這種設(shè)計(jì)的縮放規(guī)則，并展示了如何在不改變網(wǎng)絡(luò)深度的情況下提高性能。

16.non-local注意力機(jī)制

論文：Non-local Neural Networks

非局部神經(jīng)網(wǎng)絡(luò)

簡(jiǎn)述：這篇文章介紹了一種新的計(jì)算機(jī)視覺方法，稱為“非局部操作”，它能夠捕捉長(zhǎng)距離的依賴關(guān)系。這種方法受到非局部均值方法的啟發(fā)，可以計(jì)算所有位置的特征加權(quán)和。這個(gè)構(gòu)建塊可以插入許多計(jì)算機(jī)視覺架構(gòu)中。在視頻分類任務(wù)中，這種方法能夠與當(dāng)前的競(jìng)爭(zhēng)者競(jìng)爭(zhēng)或超越它們；在靜態(tài)圖像識(shí)別中，這種方法能夠改善目標(biāo)檢測(cè)/分割和姿態(tài)估計(jì)。

17.MobileViT Attention

論文：MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE, AND MOBILE-FRIENDLY VISION TRANSFORMER

輕量級(jí)、通用和移動(dòng)友好的視覺transformer

簡(jiǎn)述：論文提出了一種名為MobileViT的輕量級(jí)和通用視覺轉(zhuǎn)換器，用于移動(dòng)設(shè)備上的視覺任務(wù)。MobileViT結(jié)合了CNN和ViT的優(yōu)點(diǎn)，提供了一個(gè)不同的視角來進(jìn)行全局信息處理。實(shí)驗(yàn)結(jié)果表明，MobileViT在各種任務(wù)和數(shù)據(jù)集上顯著優(yōu)于CNN和ViT基網(wǎng)絡(luò)。在ImageNet-1k數(shù)據(jù)集上，MobileViT實(shí)現(xiàn)了78.4%的top-1準(zhǔn)確率，參數(shù)約為6百萬(wàn)，比MobileNetv3（CNN基）和DeIT（ViT基）高出3.2%和6.2%。在MS-COCO目標(biāo)檢測(cè)任務(wù)上，MobileViT比MobileNetv3高出5.7%的準(zhǔn)確率。

18.即插即用的SK Attention

論文：Selective Kernel Networks

選擇性核網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了一個(gè)動(dòng)態(tài)選擇機(jī)制，允許每個(gè)神經(jīng)元根據(jù)輸入信息動(dòng)態(tài)調(diào)整其感受野大小。設(shè)計(jì)了選擇性核（SK）單元作為構(gòu)建塊，其中不同核大小的多個(gè)分支通過由這些分支中的信息引導(dǎo)的softmax注意力進(jìn)行融合。這些分支上的不同注意力會(huì)產(chǎn)生融合層中神經(jīng)元的不同大小的有效的感受野。多個(gè)SK單元堆疊成一個(gè)稱為選擇性核網(wǎng)絡(luò)（SKNet）的深層網(wǎng)絡(luò)。

19.Double Attention Networks

論文：A2 -Nets: Double Attention Networks

雙重注意力網(wǎng)絡(luò)

簡(jiǎn)述：論文提出了一種新的神經(jīng)網(wǎng)絡(luò)組件，名為“雙注意力塊”，它能夠從整個(gè)輸入圖像/視頻中提取重要的全局特征，并使神經(jīng)網(wǎng)絡(luò)更有效地訪問整個(gè)空間的特征，從而提高識(shí)別任務(wù)的性能。實(shí)驗(yàn)表明，配備雙注意力塊的神經(jīng)網(wǎng)絡(luò)在圖像和動(dòng)作識(shí)別任務(wù)上均優(yōu)于現(xiàn)有的更大規(guī)模神經(jīng)網(wǎng)絡(luò)，同時(shí)參數(shù)和計(jì)算量也減少。

20.極化自注意力（Polarized Self-Attention）

論文：Polarized Self-Attention: Towards High-quality Pixel-wise Regression

用于高質(zhì)量像素級(jí)回歸

簡(jiǎn)述：論文提出了“極化自注意力（PSA）”，旨在解決像素級(jí)回歸問題。PSA通過保持高內(nèi)部分辨率和直接適應(yīng)典型精細(xì)回歸的輸出分布來提高性能。實(shí)驗(yàn)結(jié)果表明，PSA可以顯著提高標(biāo)準(zhǔn)基線和最佳水平的性能。

21.自注意力和CNN融合

論文：ACMix：On the Integration of Self-Attention and Convolution

關(guān)于自注意力和卷積的集成

簡(jiǎn)述：論文表明卷積和自注意力這兩種強(qiáng)大的表示學(xué)習(xí)方法之間存在深層次的聯(lián)系。它們的第一階段都包含相同的操作，即分解為多個(gè)1×1的卷積?；谶@個(gè)觀察，文章提出了一種混合模型，結(jié)合了自注意力和卷積的優(yōu)點(diǎn)，具有最小的計(jì)算開銷。實(shí)驗(yàn)表明，該模型在圖像識(shí)別和下游任務(wù)上取得了顯著改進(jìn)的結(jié)果。

22.Context Aggregation

論文：Container: Context Aggregation Network

上下文聚合網(wǎng)絡(luò)

簡(jiǎn)述：論文介紹了一種神經(jīng)網(wǎng)絡(luò)模型，名為CONTAINER。這種模型可以用于多頭上下文聚合，能夠同時(shí)利用長(zhǎng)程交互和局部卷積操作的優(yōu)點(diǎn)，達(dá)到更快的收斂速度。與基于Transformer的方法不同，CONTAINER模型可以很好地?cái)U(kuò)展到依賴更大輸入圖像分辨率的下游任務(wù)。文章還介紹了一種輕量級(jí)網(wǎng)絡(luò)變體，名為CONTAINER-LIGHT，可以用于對(duì)象檢測(cè)和實(shí)例分割網(wǎng)絡(luò)，相比具有相似計(jì)算和參數(shù)大小的ResNet-50主干，可以顯著提高檢測(cè)和掩膜的準(zhǔn)確率。此外，該方法在自監(jiān)督學(xué)習(xí)方面也取得了有希望的結(jié)果。

23.弱監(jiān)督語(yǔ)義分割的自監(jiān)督注意力機(jī)制

論文：Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

弱監(jiān)督語(yǔ)義分割的自監(jiān)督等變注意力機(jī)制

簡(jiǎn)述：論文提出了一種新的方法來解決圖像級(jí)弱監(jiān)督語(yǔ)義分割的問題。該方法基于等變性約束，通過自我監(jiān)督來發(fā)現(xiàn)額外的監(jiān)督并縮小與全監(jiān)督之間的差距。文章還提出了一種像素相關(guān)模塊（PCM），以利用上下文信息并改進(jìn)像素預(yù)測(cè)的一致性。

掃碼添加小享，回復(fù)“加注意力”

免費(fèi)領(lǐng)取全部論文+模型代碼