? ? ? ?圖像分割是計(jì)算機(jī)視覺(jué)一個(gè)常見(jiàn)的領(lǐng)域分支，任務(wù)目標(biāo)是訓(xùn)練模型能夠根據(jù)不同的語(yǔ)義信息，區(qū)分并聚集起相同語(yǔ)義對(duì)應(yīng)的像素點(diǎn)。它主要有三個(gè)方向：語(yǔ)義分割、實(shí)例分割、全景分割，每個(gè)方向都有各自的模型。Mask2former通過(guò)多尺度、可變形、多頭自注意力機(jī)制以及帶二元掩碼的交叉注意力機(jī)制，實(shí)現(xiàn)了一個(gè)模型適用于分割的三種任務(wù)，基于Transformer的一套組合拳，讓分割算法出現(xiàn)了統(tǒng)一化的趨勢(shì)。

? ? ??資源已經(jīng)整理好了，文末附下載方式！以下是詳細(xì)內(nèi)容介紹～?

? ? ? ?語(yǔ)義分割的本質(zhì)是逐個(gè)像素點(diǎn)的分類，同一物體的不同實(shí)例不需要做區(qū)分。如下圖所示，一共有四種類別，模型需要對(duì)每個(gè)像素點(diǎn)給出一個(gè)類別結(jié)果。

? ? ? 實(shí)例分割的本質(zhì)是物體檢測(cè)+語(yǔ)義分割，需要區(qū)分出同一物體的不同實(shí)例。如下圖所示，不同的羊采用不同的顏色作為單獨(dú)的實(shí)例，同時(shí)可以觀察到，相比于語(yǔ)義分割，實(shí)例分割并不會(huì)關(guān)注背景。

? ? 全景分割的本質(zhì)是語(yǔ)義分割+實(shí)例分割，不僅需要區(qū)分同一物體的不同實(shí)例，同時(shí)需要分割背景

? ? Mask2former的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，主要包含三個(gè)階段：基于Backbone的多層級(jí)特征提取、基于多層級(jí)可變形自注意力機(jī)制的像素級(jí)解碼器、基于mask的多頭交叉注意力機(jī)制的解碼器，下面對(duì)三個(gè)部分分別展開(kāi)具體介紹。

（1）基于Backbone的多層級(jí)特征提取

采用殘差網(wǎng)絡(luò)Resnet作為基礎(chǔ)的特征提取器，返回四個(gè)stage的層級(jí)特征。

（2）基于多層級(jí)可變形自注意力機(jī)制的像素級(jí)解碼器

將Backbone得到的三個(gè)高層級(jí)特征做有標(biāo)記的拼接后送入解碼器，將循環(huán)執(zhí)行六組“self-attn+norm+ffn”的組合模塊，可變形注意力機(jī)制需要額外預(yù)測(cè)位置偏移量和位置權(quán)重，根據(jù)位置偏移量對(duì)采樣點(diǎn)的位置特征校正后，與位置權(quán)重做點(diǎn)積得到更新后的特征。

下圖所示是可變形注意力的計(jì)算過(guò)程，其中zq代表加入了位置編碼的query特征圖，pq是相對(duì)于左上的位置坐標(biāo)，x代表要重構(gòu)的value特征，pmqk是預(yù)測(cè)的位置偏移量，Amqk是預(yù)測(cè)后歸一化至0-1之間的采樣點(diǎn)的權(quán)重，M是指多頭，W指全連接的權(quán)重，K是指需要采樣的關(guān)鍵點(diǎn)數(shù)量。

（3）基于mask的多頭交叉注意力機(jī)制的解碼器

對(duì)于Backbone輸出的最淺層特征，與經(jīng)過(guò)上采樣的Pixel Decoder輸出的次淺層特征做加法，再經(jīng)過(guò)全連接后得到mask特征，將mask特征，初始化的query特征，Pixel Decoder的輸出特征作為Transformer Decoder的部分輸入，先執(zhí)行masked attention，也就是帶有mask的交叉注意力機(jī)制，再執(zhí)行自注意力機(jī)制等常規(guī)操作，源碼中該模塊循環(huán)了九組。

其中分類的預(yù)測(cè)以及mask_embed都是由初始化的query特征做全連接得到，而attn_mask則由mask_embed與mask特征相乘后并做重采樣得到。從下圖公式中可以看出，與常規(guī)的注意力機(jī)制計(jì)算過(guò)程相比，mask的加入讓query只關(guān)注預(yù)測(cè)掩碼的前景區(qū)域。

? ? ? ?Mask2Former的改進(jìn)點(diǎn)主要體現(xiàn)在四個(gè)方面：一是充分利用了多尺度特征，將特征金字塔與Transformer有效結(jié)合，高分辨率特征優(yōu)化了對(duì)小目標(biāo)的分割效果；二是在Transformer Decoder中更換自注意力和交叉注意力的順序，加速模型的收斂并提高性能；三是mask loss只計(jì)算K個(gè)采樣隨機(jī)點(diǎn)而不是整張圖，節(jié)省了三倍的訓(xùn)練內(nèi)存；四是基于mask交叉注意力機(jī)制使得模型只關(guān)注前景間的注意力，不需要背景的參與，大大縮短了訓(xùn)練時(shí)間。

? ? ? ?從上面的分析中可以看出，Mask2Former是個(gè)體量較大的模型，主體都是Transformer的系列變形，同時(shí)融合了多頭、多尺度、可變形、掩碼四大常見(jiàn)技巧，可以稱得上是集百家之大成了，一套組合拳不僅統(tǒng)一了分割的三大任務(wù)，還都能有出色的效果表現(xiàn)。由此可見(jiàn)縫合的策略雖然看似簡(jiǎn)單，但的確是奏效的，積累整合優(yōu)秀算法模型的改進(jìn)點(diǎn)是十分重要的，未來(lái)的思路靈感主要來(lái)源于此，與此同時(shí)更需要大膽的組合嘗試，唯有實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。
以上對(duì)應(yīng)的學(xué)習(xí)教程和論文已打包好?

免費(fèi)領(lǐng)取方式

關(guān)注UP主“ 迪哥談AI ”

直接發(fā)送“?教程”

即可獲取下載鏈接

還有一種免費(fèi)領(lǐng)取方式

看評(píng)論區(qū)