朋友們，你們想發(fā)paper的時(shí)候有沒(méi)有被創(chuàng)新點(diǎn)、改模型、改代碼折磨過(guò)？今天學(xué)姐教你們一個(gè)前期又快又省事的方法，就是用即插即用的模塊“縫合”，加入自己的想法快速搭積木煉丹。

這種方法可以簡(jiǎn)化模型設(shè)計(jì)，減少冗余工作，幫助我們快速搭建模型結(jié)構(gòu)，不需要從零開(kāi)始實(shí)現(xiàn)所有組件。除此以外，這些即插即用的模塊都具有標(biāo)準(zhǔn)接口，意味著我們可以很方便地替換不同的模塊進(jìn)行比較，加快論文實(shí)驗(yàn)迭代的速度。

為方便大家理解和運(yùn)用，學(xué)姐這次給大家分享13個(gè)非常有用的即插即用模塊！這些模塊既有特別經(jīng)典的，也有今年最新的，且原文和代碼都有。除了源碼，還給大家準(zhǔn)備了經(jīng)過(guò)提煉的簡(jiǎn)潔代碼，使用起來(lái)更加方便。這些模塊涵蓋了各種注意力機(jī)制、卷積變體、Transformer變體等主題。

掃碼添加小享，回復(fù)“模塊”

免費(fèi)領(lǐng)取論文原文+模塊源碼

學(xué)姐之前也單獨(dú)分享過(guò)注意力模塊和卷積模塊，感興趣的同學(xué)看下面?zhèn)魉烷T(mén)↓

注意力機(jī)制PyTorch實(shí)現(xiàn)！30篇高分Attention論文一次看完！

高效改進(jìn)CNN！11種即插即用的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法分享！

1.GAM 注意力模塊

論文：Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions

全局注意力機(jī)制：保留信息以增強(qiáng)通道-空間交互

簡(jiǎn)介：各種注意力機(jī)制被研究用以提高不同計(jì)算機(jī)視覺(jué)任務(wù)的性能。然而，之前的方法忽略了保留通道和空間兩個(gè)方面的信息以增強(qiáng)跨維度交互的重要性。因此，論文提出一種全局注意力機(jī)制，通過(guò)通道和空間雙注意力減少信息損失，增強(qiáng)全局特征交互,從而提升視覺(jué)任務(wù)的性能。

2.STN模塊

論文：Spatial Transformer Networks

空間轉(zhuǎn)換器網(wǎng)絡(luò)

簡(jiǎn)介：卷積神經(jīng)網(wǎng)絡(luò)定義了一個(gè)非常強(qiáng)大的模型類，但仍受限于以計(jì)算和參數(shù)高效的方式對(duì)輸入數(shù)據(jù)空間不變性的缺乏能力。在這項(xiàng)工作中，作者引入了一個(gè)新的可學(xué)習(xí)模塊，即空間轉(zhuǎn)換器，它明確地允許網(wǎng)絡(luò)內(nèi)的數(shù)據(jù)進(jìn)行空間操作。該可微分模塊可以插入現(xiàn)有的卷積架構(gòu)中，賦予神經(jīng)網(wǎng)絡(luò)主動(dòng)根據(jù)特征圖自身對(duì)特征圖進(jìn)行空間變換的能力，而無(wú)需任何額外的訓(xùn)練監(jiān)督或優(yōu)化過(guò)程的修改。

3.SENet 通道注意力模塊

論文：Squeeze-and-Excitation Networks

擠壓和激勵(lì)網(wǎng)絡(luò)

簡(jiǎn)介：卷積神經(jīng)網(wǎng)絡(luò)建立在卷積操作之上，通過(guò)在局部感受野內(nèi)融合空間和通道信息來(lái)提取有效特征。為了增強(qiáng)網(wǎng)絡(luò)的表示能力，幾種最近的方法展示了增強(qiáng)空間編碼的好處。在本文中，作者關(guān)注通道關(guān)系，并提出了一種新的架構(gòu)單元“Squeeze-and-Excitation”(SE)模塊，它通過(guò)明確建模通道之間的依賴關(guān)系，自適應(yīng)地重新校準(zhǔn)通道級(jí)特征響應(yīng)。

4.DConv動(dòng)態(tài)卷積

論文：OMNI-DIMENSIONAL DYNAMIC CONVOLUTION

全維動(dòng)態(tài)卷積

簡(jiǎn)介：全維動(dòng)態(tài)卷積(ODConv)是一種新穎的卷積模塊，可以作為常規(guī)卷積的直接替代，插入到許多CNN架構(gòu)中。它利用多維注意力機(jī)制，沿卷積核的所有四個(gè)維度(空間大小、輸入通道數(shù)、輸出通道數(shù)和核數(shù)量)學(xué)習(xí)核的互補(bǔ)注意力，以獲得更強(qiáng)的特征表達(dá)能力。ODConv可以顯著提升各種CNN網(wǎng)絡(luò)的性能，包括輕量級(jí)和大型模型，同時(shí)參數(shù)量不增。即使只用單核，它也可以匹敵或超過(guò)現(xiàn)有的多核動(dòng)態(tài)卷積模塊。

5.完全注意力FANs

論文：Understanding The Robustness in Vision Transformers

理解視覺(jué)鵝transformer的魯棒性

簡(jiǎn)介：最新的研究顯示，視覺(jué)Transformer(ViTs)在處理各種圖像損壞時(shí)表現(xiàn)出很強(qiáng)的魯棒性。盡管這種魯棒性部分歸因于自注意力機(jī)制，但我們對(duì)其中的工作原理還不是很清楚。論文通過(guò)引入全注意力網(wǎng)絡(luò)(FANs)中的注意力通道模塊，加強(qiáng)了自注意力在學(xué)習(xí)魯棒特征表示方面的作用。

6.CA注意力

論文：Coordinate Attention for Efficient Mobile Network Design

移動(dòng)網(wǎng)絡(luò)設(shè)計(jì)的協(xié)同注意力機(jī)制

簡(jiǎn)介：移動(dòng)網(wǎng)絡(luò)中的通道注意力機(jī)制通常會(huì)忽略空間位置信息，這對(duì)生成位置敏感的注意力圖很重要。本文提出了一種坐標(biāo)注意力機(jī)制，將位置編碼嵌入到通道注意力中，以獲得對(duì)位置敏感的注意力。它將通道注意力分解成兩個(gè)方向的1D特征編碼，每個(gè)方向聚合一維的特征，這樣就可以在一個(gè)方向上捕獲長(zhǎng)程依賴，同時(shí)在另一個(gè)方向保留精確的位置信息。

7.自適應(yīng)空間特征融合（ASFF）

論文：Learning Spatial Fusion for Single-Shot Object Detection

空間融合模塊用于單鏡頭物體檢測(cè)的學(xué)習(xí)

簡(jiǎn)介：為了處理物體檢測(cè)中尺度變化的挑戰(zhàn)，金字塔特征表示是常見(jiàn)的做法。但是，基于特征金字塔的單階段檢測(cè)器，不同尺度特征之間的不一致性是其主要局限。本文提出了一種新穎的數(shù)據(jù)驅(qū)動(dòng)的金字塔特征融合策略，即自適應(yīng)空間特征融合。它可以學(xué)習(xí)空間過(guò)濾沖突信息的方式來(lái)抑制不一致性，從而提高特征的尺度不變性，并增加很小的推理開(kāi)銷。

掃碼添加小享，回復(fù)“模塊”

免費(fèi)領(lǐng)取論文原文+模塊源碼

8.全新多尺度融合（CFNet 2023年）

論文：DNET: A CASCADE ENCODER-DECODER NET-WORK FOR DENSE PREDICTION

DNET：用于稠密預(yù)測(cè)的級(jí)聯(lián)編碼器-解碼器網(wǎng)絡(luò)

簡(jiǎn)介：多尺度特征對(duì)稠密預(yù)測(cè)任務(wù)非常重要?，F(xiàn)有方法通常在分類骨干網(wǎng)絡(luò)提取多尺度特征后，采用輕量級(jí)模塊融合，但因計(jì)算資源集中在分類骨干網(wǎng)絡(luò)，多尺度特征融合往往推遲，導(dǎo)致特征融合不充分。論文提出了一種流線型的級(jí)聯(lián)編碼器-解碼器網(wǎng)絡(luò)CEDNet，所有階段共享編碼器-解碼器結(jié)構(gòu)，在解碼器內(nèi)進(jìn)行多尺度特征融合。

9.無(wú)參數(shù)注意力機(jī)制（simAM）

論文：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

SimAM：一種用于卷積神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單無(wú)參數(shù)注意力模塊

簡(jiǎn)介：論文提出一個(gè)簡(jiǎn)單高效的卷積神經(jīng)網(wǎng)絡(luò)注意力模塊SimAM。不同于現(xiàn)有逐通道或空間注意力，SimAM不增加網(wǎng)絡(luò)參數(shù)就可以為層內(nèi)特征圖推斷三維注意力。具體來(lái)說(shuō)，作者定義一個(gè)能量函數(shù)并導(dǎo)出閉式解來(lái)發(fā)現(xiàn)每個(gè)神經(jīng)元的重要性，用少于10行代碼實(shí)現(xiàn)。SimAM運(yùn)算符選擇基于能量函數(shù)解得出，避免結(jié)構(gòu)調(diào)優(yōu)。

10.卷積三重注意力模塊

論文：Rotate to Attend: Convolutional Triplet Attention Module

卷積三元組注意力模塊

簡(jiǎn)介：本文研究了一種輕量級(jí)但有效的注意力機(jī)制——三元組注意力，它通過(guò)三分支結(jié)構(gòu)和旋轉(zhuǎn)操作來(lái)捕獲輸入張量不同維度之間的交互，從而計(jì)算注意力權(quán)重。該方法可以輕松集成到典型的CNN模型中，對(duì)計(jì)算和參數(shù)量影響很小。

11.Selective Query Recollection（SQR）

論文：Enhanced Training of Query-Based Object Detection via Selective Query Recollection

選擇性查詢回憶增強(qiáng)了基于查詢的目標(biāo)檢測(cè)的訓(xùn)練

簡(jiǎn)介：這篇論文研究了基于查詢的目標(biāo)檢測(cè)器在最后解碼階段預(yù)測(cè)錯(cuò)誤而在中間階段預(yù)測(cè)正確的現(xiàn)象。 通過(guò)回顧訓(xùn)練過(guò)程，作者歸因該現(xiàn)象于兩個(gè)限制：后期階段缺乏訓(xùn)練強(qiáng)調(diào)以及解碼順序?qū)е碌募?jí)聯(lián)錯(cuò)誤。為此，作者設(shè)計(jì)了選擇性查詢回憶(SQR)策略來(lái)增強(qiáng)基于查詢的目標(biāo)檢測(cè)器的訓(xùn)練。該策略累積收集中間查詢，并選擇性地將其直接輸入后期階段，從而強(qiáng)調(diào)后期階段的訓(xùn)練，并讓后期階段可以直接使用中間查詢。

12.CV自動(dòng)數(shù)據(jù)增強(qiáng)插件（MedAugment）

論文：MedAugment: Universal Automatic Data Augmentation Plug-in for Medical Image Analysis

醫(yī)學(xué)圖像分析的通用自動(dòng)數(shù)據(jù)增強(qiáng)插件

簡(jiǎn)介：本文提出了一個(gè)名為MedAugment的可即插即用的數(shù)據(jù)增強(qiáng)方法，以利用自動(dòng)的數(shù)據(jù)增強(qiáng)來(lái)推動(dòng)醫(yī)學(xué)圖像分析領(lǐng)域的發(fā)展?？紤]到自然圖像和醫(yī)學(xué)圖像的差異，作者將增強(qiáng)空間分為像素增強(qiáng)空間和空間增強(qiáng)空間，并設(shè)計(jì)了一種新的操作采樣策略來(lái)從這兩個(gè)空間中采樣增強(qiáng)操作。

13.域泛化語(yǔ)義分割模型

論文：Semantic-Aware Domain Generalized Segmentation

語(yǔ)義感知的域泛化分割

簡(jiǎn)介：本文提出了一個(gè)框架來(lái)解決語(yǔ)義分割的域泛化問(wèn)題，其中分割模型在源域訓(xùn)練后需要在未見(jiàn)的數(shù)據(jù)分布不同的目標(biāo)域上進(jìn)行泛化。該框架包含兩個(gè)新模塊：語(yǔ)義感知正則化(SAN)和語(yǔ)義感知拉伸(SAW)。SAN通過(guò)類別級(jí)的特征中心對(duì)齊來(lái)促進(jìn)不同域之間的域不變性。SAW在已經(jīng)對(duì)齊的特征上施加分布對(duì)齊來(lái)增強(qiáng)類別間的區(qū)分度。

掃碼添加小享，回復(fù)“模塊”

免費(fèi)領(lǐng)取論文原文+模塊源碼