4.從注意力角度看BiSeNet3篇
2023年3月29日08:36:32
BiSeNet-2018
一個(gè)雙流 編碼器和一個(gè)融合器,每個(gè)流都包括一個(gè)注意力機(jī)制,
雙流即一個(gè)粗略的、低分辨率的分支和一個(gè)精細(xì)的、高分辨率的分支,
兩個(gè)分支,高低分辨率,SP(Spatial Path)小尺寸物體,CP(Context Path)大尺寸物體,
在保持高分辨率的同時(shí)大大減少計(jì)算量,從而實(shí)現(xiàn)實(shí)時(shí),
編碼器-解碼器解構(gòu),Encoder-Decoder框架,
全新注意力機(jī)制,即注意力金字塔池化,獲取不同的上下文信息,
將不同分辨率的特征圖進(jìn)行聚合,同時(shí)利用自注意力機(jī)制和跨特征圖的注意力機(jī)制來(lái)提高特征圖的表達(dá)能力,
RDFNet-2020
循環(huán)細(xì)化 模塊,增加模型的感受野,
局部/全局 注意力機(jī)制,關(guān)注不同尺度和不同區(qū)域的信息,解決遮擋和復(fù)雜背景等,
基于殘差深度網(wǎng)絡(luò),“殘差密度塊”增強(qiáng)特征表達(dá),相對(duì)密集的特征提取,反卷積操作,
空間注意力機(jī)制,自適應(yīng)注意力機(jī)制于殘差密度塊中的多個(gè)分支,獲取上下文信息,
更好地處理不同尺度的對(duì)象,
大尺度和復(fù)雜背景,
創(chuàng)新:局部跨度和全局跨度的殘差密集塊,基于特征上下文和空間解構(gòu)的可逆采樣方法,
RDB和可逆下采樣,
DFANet-2021
深度特征注意力,深度分離卷積減少參數(shù)量,
包括一個(gè)基于特征注意力 的編碼器和一個(gè)解碼器,
特征注意力機(jī)制嵌入到編碼器的不同層中,更好關(guān)注感興趣的特征,
創(chuàng)新:多尺度深度分離卷積和分組注意力機(jī)制處理尺度變化和多樣性,
是一種基于深度可分離卷積網(wǎng)絡(luò)的語(yǔ)義分割模型,它使用了一種稱為“多級(jí)上下文聚合”的方法來(lái)捕獲不同尺度的上下文信息。在這個(gè)方法中,DFANet使用了兩個(gè)注意力模塊,分別是“通道注意力模塊”和“空間注意力模塊”。通道注意力模塊可以自適應(yīng)地學(xué)習(xí)通道之間的相關(guān)性,而空間注意力模塊可以自適應(yīng)地學(xué)習(xí)空間區(qū)域之間的相關(guān)信息。