特征融合（Feature Fusion）是深度學(xué)習(xí)中的一種重要技術(shù)，它可以幫助模型更好地理解數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和規(guī)律，提高模型的性能和泛化能力。另外，特征融合還可以提高模型的分類準(zhǔn)確率，減少過(guò)擬合風(fēng)險(xiǎn)，幫助我們更好地利用數(shù)據(jù)集。

目前已有的特征融合方法已經(jīng)取得了顯著的進(jìn)展，但仍然存在一些挑戰(zhàn)和問(wèn)題。為了進(jìn)一步探索新的特征融合方法，以更好地解決上述問(wèn)題，研究者們提出了許多優(yōu)秀的魔改方法。

學(xué)姐這次就整理了一部分特征融合經(jīng)典魔改方法，每個(gè)方法涉及到的模型、論文原文以及代碼都放上了，需要的同學(xué)看這里↓

掃碼添加小享，回復(fù)“特征融合”

免費(fèi)領(lǐng)取全部模型+論文+代碼

1.Densenet

論文：Densely Connected Convolutional Networks

密集連接的卷積網(wǎng)絡(luò)

方法簡(jiǎn)介：DenseNet是一種連接方式不同的卷積網(wǎng)絡(luò)。在DenseNet中，每一層都直接連接到其他所有層，這使得信息傳遞更加直接和高效。相比之下，傳統(tǒng)的卷積網(wǎng)絡(luò)只有相鄰層之間有連接。DenseNet有幾個(gè)優(yōu)點(diǎn)：它可以緩解梯度消失問(wèn)題，增強(qiáng)特征傳播，鼓勵(lì)特征重用，并且需要的參數(shù)更少。在四個(gè)不同的基準(zhǔn)任務(wù)上，DenseNet的表現(xiàn)都超過(guò)了現(xiàn)有的技術(shù)，同時(shí)它需要更少的計(jì)算資源。

2.Resnet

論文：Deep Residual Learning for Image Recognition

用于圖像識(shí)別的深度殘差學(xué)習(xí)

方法簡(jiǎn)介：論文介紹了深度殘差學(xué)習(xí)框架，它使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)更加容易。通過(guò)將層學(xué)習(xí)為相對(duì)于輸入的殘差函數(shù)，而不是無(wú)參考函數(shù)，該框架使得深度網(wǎng)絡(luò)更易于優(yōu)化，并且能夠從增加的深度中獲得更高的準(zhǔn)確率。在ImageNet數(shù)據(jù)集上，這種深度殘差網(wǎng)絡(luò)的表現(xiàn)非常好，并且比以前的網(wǎng)絡(luò)更深。此外，這種網(wǎng)絡(luò)還在其他競(jìng)賽任務(wù)中獲得了第一名。

3.CBP

論文：Compact Bilinear Pooling

緊湊型雙線性池化

方法簡(jiǎn)介：雙線性模型在很多視覺(jué)任務(wù)上效果很好，但特征維度高不實(shí)用。論文提出了兩種低維的雙線性表示，和原來(lái)的一樣有效，但只有幾千維度，更適合后續(xù)分析。這種表示能讓誤差反向傳播，優(yōu)化整個(gè)視覺(jué)識(shí)別系統(tǒng)。作者通過(guò)創(chuàng)新的方法分析雙線性池化得到這種表示，它為研究其他緊湊池化方法提供了新思路。實(shí)驗(yàn)證明，這種表示對(duì)圖像分類和小樣本學(xué)習(xí)有效。

4.SENet

論文：Squeeze-and-Excitation Networks

擠壓和激勵(lì)網(wǎng)絡(luò)

方法簡(jiǎn)介：擠壓和激勵(lì)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)關(guān)鍵部分，它通過(guò)擠壓和激勵(lì)來(lái)調(diào)整網(wǎng)絡(luò)中的信息流。擠壓操作提取網(wǎng)絡(luò)中的空間信息，激勵(lì)操作則根據(jù)這些信息調(diào)整網(wǎng)絡(luò)中的通道權(quán)重。這種網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地提高網(wǎng)絡(luò)的表現(xiàn)，尤其是在處理圖像分類等任務(wù)時(shí)。擠壓和激勵(lì)網(wǎng)絡(luò)可以與現(xiàn)有的最先進(jìn)的CNN結(jié)合使用，以實(shí)現(xiàn)更高的性能提升。

5.GCNet

論文：Global Context Network

全局上下文網(wǎng)絡(luò)

方法簡(jiǎn)介：Non-Local Network 是一種能捕捉圖像中長(zhǎng)距離依賴性的方法，但它的全局上下文對(duì)不同查詢位置都是相同的。因此，作者創(chuàng)建了一個(gè)更簡(jiǎn)單的網(wǎng)絡(luò)，它基于查詢無(wú)關(guān)的公式，保持了 Non-Local Network 的準(zhǔn)確性，但計(jì)算量更少。另外，作者還改進(jìn)了 Non-Local 塊的變換函數(shù)，用兩層瓶頸替換了原本的一層，進(jìn)一步減少了參數(shù)數(shù)量。由此產(chǎn)生的全局 上下文 (GC) 塊能以輕量級(jí)方式有效地模擬全局上下文，并可應(yīng)用于主干網(wǎng)絡(luò)的多個(gè)層次以形成全局 上下文 網(wǎng)絡(luò) (GCNet)。

6.DANet

論文：Dual Attention Network for Scene Segmentation

用于場(chǎng)景分割的雙注意力網(wǎng)絡(luò)

方法簡(jiǎn)介：論文提出了一種叫做雙注意力網(wǎng)絡(luò)（DANet）的新網(wǎng)絡(luò)，用于解決場(chǎng)景分割任務(wù)。DANet通過(guò)兩種注意力模塊，一是位置注意力模塊，二是通道注意力模塊，來(lái)捕獲豐富的上下文依賴關(guān)系。這兩種模塊分別關(guān)注空間維度和通道維度上的依賴關(guān)系。DANet能自適應(yīng)地融合局部特征和全局依賴關(guān)系，從而提升特征表示能力，得到更精確的分割結(jié)果。

7.PANet

論文：Path Aggregation Network for Instance Segmentation

用于實(shí)例分割的路徑聚合網(wǎng)絡(luò)

方法簡(jiǎn)介：論文提出了一種PANet網(wǎng)絡(luò)，用于改進(jìn)基于提議的實(shí)例分割框架的信息流。PANet通過(guò)自下而上的路徑增強(qiáng)來(lái)增強(qiáng)整個(gè)特征層次，以在較低層中獲得精確的定位信號(hào)，從而縮短了信息路徑。它還提出了自適應(yīng)特征池化，將特征網(wǎng)格和所有特征級(jí)別與提議子網(wǎng)絡(luò)進(jìn)行連接，使每個(gè)特征級(jí)別的有用信息能夠直接傳播到后續(xù)的提議子網(wǎng)絡(luò)。此外，還創(chuàng)建了一個(gè)捕捉每個(gè)提議不同視圖的互補(bǔ)分支，以進(jìn)一步改善掩膜預(yù)測(cè)。這些改進(jìn)易于實(shí)現(xiàn)，且?guī)缀鯖](méi)有額外的計(jì)算開(kāi)銷。

8.FPN

論文：Feature Pyramid Networks for Object Detection

用于目標(biāo)檢測(cè)的特征金字塔網(wǎng)絡(luò)

方法簡(jiǎn)介：特征金字塔是檢測(cè)不同尺度物體的識(shí)別系統(tǒng)中的基本組成部分。但最近的深度學(xué)習(xí)目標(biāo)檢測(cè)器已經(jīng)避免了金字塔表示，部分原因是它們計(jì)算和內(nèi)存密集。本文利用深度卷積神經(jīng)網(wǎng)絡(luò)固有的多尺度、金字塔層次結(jié)構(gòu)，以邊際額外成本構(gòu)建特征金字塔。從上到下的架構(gòu)與側(cè)向連接相結(jié)合，可在所有尺度上構(gòu)建高級(jí)語(yǔ)義特征圖。這種架構(gòu)稱為特征金字塔網(wǎng)絡(luò)（FPN），作為通用特征提取器在幾個(gè)應(yīng)用中表現(xiàn)出顯著改進(jìn)。

掃碼添加小享，回復(fù)“特征融合”

免費(fèi)領(lǐng)取全部模型+論文+代碼

9.ASPP

論文：DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

使用深度卷積網(wǎng)絡(luò)、稀疏卷積和全連接CRF進(jìn)行語(yǔ)義圖像分割

方法簡(jiǎn)介：論文提出了DeepLab系統(tǒng)，用于解決語(yǔ)義圖像分割任務(wù)。主要貢獻(xiàn)有三點(diǎn)：首先，強(qiáng)調(diào)了稀疏卷積（Atrous Convolution）在密集預(yù)測(cè)任務(wù)中的重要性，它允許控制特征響應(yīng)的計(jì)算分辨率，并有效擴(kuò)大濾波器視野；其次，提出了稀疏空間金字塔池化（ASPP），以多尺度穩(wěn)健分割對(duì)象；最后，結(jié)合DCNNs和概率圖模型的方法，提高對(duì)象邊界的定位精度。

10.SPP-net

論文：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

用于視覺(jué)識(shí)別的深度卷積網(wǎng)絡(luò)中的空間金字塔池化

方法簡(jiǎn)介：現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）需要固定大?。ɡ?24x224）的輸入圖像，論文為網(wǎng)絡(luò)配備了另一種池化策略——“空間金字塔池化”，以消除上述要求。這種新的網(wǎng)絡(luò)結(jié)構(gòu)稱為SPP-net，可以生成固定長(zhǎng)度的表示，而無(wú)需考慮圖像的大小/比例。金字塔池化對(duì)物體形變具有魯棒性。由于這些優(yōu)點(diǎn)，SPP-net總體上應(yīng)改進(jìn)所有基于CNN的圖像分類方法。

11.PSP-net

論文：Pyramid Scene Parsing Network

?于語(yǔ)義分割的?字塔場(chǎng)景識(shí)別?絡(luò)

方法簡(jiǎn)介：場(chǎng)景識(shí)別是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)樗枰幚砀鞣N不同的場(chǎng)景和詞匯。本文提出了一種新的方法，通過(guò)使用不同區(qū)域基于上下文的聚合和金字塔池化模塊，以及提出的金字塔場(chǎng)景識(shí)別網(wǎng)絡(luò)（PSPNet），來(lái)提高場(chǎng)景識(shí)別的性能。這種方法能夠有效地利用全局上下文信息，并產(chǎn)生高質(zhì)量的識(shí)別結(jié)果。PSPNet提供了一個(gè)優(yōu)越的框架，用于像素級(jí)別的預(yù)測(cè)任務(wù)。

12.ECA-Net

論文：ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

深度卷積神經(jīng)網(wǎng)絡(luò)的高效通道注意力

方法簡(jiǎn)介：論文介紹了Efficient Channel Attention (ECA)模塊，這個(gè)模塊能夠提升深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能，同時(shí)保持較低的模型復(fù)雜度。它通過(guò)避免維度降低和采用局部通道交互策略來(lái)實(shí)現(xiàn)這一點(diǎn)。與ResNet50相比，ECA模塊的參數(shù)和計(jì)算量更少，但性能提升超過(guò)2%。實(shí)驗(yàn)結(jié)果表明，ECA模塊在圖像分類、目標(biāo)檢測(cè)和實(shí)例分割等任務(wù)中表現(xiàn)出了更高的效率和良好的性能。

掃碼添加小享，回復(fù)“特征融合”

免費(fèi)領(lǐng)取全部模型+論文+代碼