4.從注意力角度看BiSeNet3篇
2023年3月29日08:36:32
BiSeNet-2018
一個雙流 編碼器和一個融合器,每個流都包括一個注意力機制,
雙流即一個粗略的、低分辨率的分支和一個精細的、高分辨率的分支,
兩個分支,高低分辨率,SP(Spatial Path)小尺寸物體,CP(Context Path)大尺寸物體,
在保持高分辨率的同時大大減少計算量,從而實現實時,
編碼器-解碼器解構,Encoder-Decoder框架,
全新注意力機制,即注意力金字塔池化,獲取不同的上下文信息,
將不同分辨率的特征圖進行聚合,同時利用自注意力機制和跨特征圖的注意力機制來提高特征圖的表達能力,
RDFNet-2020
循環(huán)細化 模塊,增加模型的感受野,
局部/全局 注意力機制,關注不同尺度和不同區(qū)域的信息,解決遮擋和復雜背景等,
基于殘差深度網絡,“殘差密度塊”增強特征表達,相對密集的特征提取,反卷積操作,
空間注意力機制,自適應注意力機制于殘差密度塊中的多個分支,獲取上下文信息,
更好地處理不同尺度的對象,
大尺度和復雜背景,
創(chuàng)新:局部跨度和全局跨度的殘差密集塊,基于特征上下文和空間解構的可逆采樣方法,
RDB和可逆下采樣,
DFANet-2021
深度特征注意力,深度分離卷積減少參數量,
包括一個基于特征注意力 的編碼器和一個解碼器,
特征注意力機制嵌入到編碼器的不同層中,更好關注感興趣的特征,
創(chuàng)新:多尺度深度分離卷積和分組注意力機制處理尺度變化和多樣性,
是一種基于深度可分離卷積網絡的語義分割模型,它使用了一種稱為“多級上下文聚合”的方法來捕獲不同尺度的上下文信息。在這個方法中,DFANet使用了兩個注意力模塊,分別是“通道注意力模塊”和“空間注意力模塊”。通道注意力模塊可以自適應地學習通道之間的相關性,而空間注意力模塊可以自適應地學習空間區(qū)域之間的相關信息。