EF-Net一種適用于雙流SOD的有效檢測模型（Pattern Recognition）
作者：明澤Danny
來源：微信公眾號|3D視覺工坊
簡介顯著目標(biāo)檢測(SOD)在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的關(guān)注。但面臨低質(zhì)量的深度圖，現(xiàn)有模型的檢測結(jié)果都不是很理想。為了解決這一問題，該文提出了一種新型多模態(tài)增強(qiáng)融合網(wǎng)絡(luò)(EF-Net)，用于有效的RGB-D顯性檢測。具體來說，首先僅僅利用RGB圖像提示映射模塊來預(yù)測提示映射，編碼突出對象的粗略信息。然后利用得到的提示圖經(jīng)過深度增強(qiáng)模塊來增強(qiáng)深度圖，從而抑制噪聲并銳化對象邊界。最后，該文構(gòu)造了分層聚合模塊，用于融合增強(qiáng)后的深度圖與RGB圖像中提取的特征，以精確地檢測突出對象。該文提出的EFNet利用增強(qiáng)和融合框架進(jìn)行顯著性檢測，充分利用了RGB圖像和深度圖中的信息，有效地解決了深度圖的低質(zhì)量問題，顯著提高了顯著性檢測性能。在五個廣泛使用的基準(zhǔn)數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明，該方法在五個關(guān)鍵評價(jià)指標(biāo)方面優(yōu)于12種最先進(jìn)的RGB-D顯著性檢測方法。
論文獲?。?/strong>在公眾號「3D視覺工坊」，后臺回復(fù)「EF-Net」，即可直接獲得。
主要貢獻(xiàn)
該文提出了一種新型深度增強(qiáng)和融合框架來解決深度地圖的低質(zhì)量問題，它利用RGB圖像的顏色提示映射模塊提供的先驗(yàn)知識，有效地提高了深度地圖的質(zhì)量。
該文提出了一個有效的分層聚合模塊，充分利用多模態(tài)數(shù)據(jù)用以融合從RGB圖像和增強(qiáng)深度圖中提取的特征。
該文提出的EF-Net在五個廣泛使用的基準(zhǔn)數(shù)據(jù)集上的評價(jià)指標(biāo)優(yōu)于12種SOTA方法。通過進(jìn)一步評價(jià)RGB-T數(shù)據(jù)表明，EF-Net是一般多模態(tài)顯著性檢測的有效解決方案。
與其他方法比較的可視化圖片：
模型：
1）首先將RGB圖像輸入ResNet-50編碼架構(gòu)，得到四層編碼特征，再利用一個1×1和兩個3×3卷積層提取顯著性特征{Hi0, i = 1, 2, 3, 4}和邊緣特征{Ei0, i = 1, 2, 3, 4}，同時(shí)將特征通道數(shù)變?yōu)?2通道。2）將顯著性特征{Hi0, i = 1, 2, 3, 4}和邊緣特征{Ei0, i = 1, 2, 3, 4}輸入CRUs模塊，具體公式如下：
下載鏈接：http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）
附圖如下：
3）將特征Hi和Ei分別輸入U(xiǎn)-Net網(wǎng)絡(luò)，即利用U-Net解碼結(jié)構(gòu)將特征Hi和Ei得進(jìn)行一系列卷積、上采樣和級聯(lián)，以自頂向下的方式融合四個層得到初步的顯著性預(yù)測圖hint map Sh與邊緣預(yù)測圖edge map Se。4）將Sh?與深度圖depth輸入深度增強(qiáng)模塊DEM，模塊圖如下：
得到增強(qiáng)的深度初始圖，再輸入ResNet-18進(jìn)行訓(xùn)練，得到增強(qiáng)的深度圖 {EDi, i = 1, 2, 3, 4}。初始深度圖與增強(qiáng)后的深度圖對比如下，可以看到質(zhì)量明顯提升。
5）將增強(qiáng)的深度圖 {EDi, i = 1, 2, 3, 4}與步驟2）得到的顯著特征圖{Hi, i = 1, 2, 3, 4}輸入跨模態(tài)融合模塊，模塊圖如下：公式為：在特征聚合之后，再次使用U-Net來組合和細(xì)化{DHi，i=1、2、3、4}來預(yù)測最終的顯著性映射Sf。損失函數(shù)：該文利用多監(jiān)督提升模型的性能，損失函數(shù)為交叉熵?fù)p失。將深度監(jiān)督應(yīng)用于初步的顯著性預(yù)測圖 Sh?與邊緣預(yù)測圖 Se，用GT圖Gs監(jiān)督Sh，用GT取梯度得到的邊界圖Ge監(jiān)督Se，用GT圖Gs監(jiān)督最終的顯著性映射Sf。公式如下：
實(shí)驗(yàn)結(jié)果EF-Net和其他8種最先進(jìn)的方法在四個基準(zhǔn)數(shù)據(jù)集上的F-測度和精度-回歸曲線：
定量評價(jià)結(jié)果：
除了在RGB-D數(shù)據(jù)集上訓(xùn)練測試網(wǎng)絡(luò)之外，該文還在RGB-T上訓(xùn)練測試網(wǎng)絡(luò)，結(jié)果如下：
總結(jié)
該文提出了一種有效的RGB-D顯性檢測方法EF-Net，它首先利用從高質(zhì)量RGB圖像中學(xué)習(xí)到的先驗(yàn)知識增強(qiáng)深度圖，然后在增強(qiáng)和融合框架中融合RGB和增強(qiáng)的深度特征。EF-Net由三個主要模塊組成，包括用于生成提示圖的CHMM、用于增強(qiáng)帶有顏色提示圖的深度圖的DEM和用于聚合多模態(tài)特征的LAM。該方法有效地解決了深度圖的低質(zhì)量問題，并解決了與多模態(tài)融合相關(guān)的挑戰(zhàn)，這最終導(dǎo)致了有希望的顯著性檢測性能。在四個流行的基準(zhǔn)上的廣泛實(shí)驗(yàn)表明，EFNet明顯優(yōu)于現(xiàn)有的SOTA方法。此外，在兩個RGB-T數(shù)據(jù)集上進(jìn)行了額外的實(shí)驗(yàn)，以探索EF-Net進(jìn)一步擴(kuò)展到RGB-T顯性檢測。實(shí)驗(yàn)結(jié)果表明，EF-Net能夠準(zhǔn)確地從RGB-T數(shù)據(jù)中檢測出突出物體，這意味著EF-Net是一種有效的雙流顯著物體檢測解決方案。
