同學(xué)們，你們覺得視覺經(jīng)典四個(gè)任務(wù)中哪個(gè)最難？學(xué)姐個(gè)人覺得是實(shí)例分割。

因?yàn)樗染邆湔Z義分割的特點(diǎn)，需要做到像素層面上的分類，也具備目標(biāo)檢測(cè)的一部分特點(diǎn)，即需要定位出不同實(shí)例，即使它們是同一種類。

但盡管實(shí)例分割的復(fù)雜性和挑戰(zhàn)性較高，它仍然是計(jì)算機(jī)視覺領(lǐng)域一個(gè)很重要的研究主題，對(duì)地理信息系統(tǒng)、醫(yī)學(xué)影像、自動(dòng)駕駛、機(jī)器人等領(lǐng)域有著很重要的應(yīng)用技術(shù)支持作用。

為了幫助同學(xué)們學(xué)習(xí)這一重要主題，今天學(xué)姐就來和大家分享各大頂會(huì)中實(shí)例分割方向的12篇高分論文，包含今年最新的研究成果，希望能幫助同學(xué)們更輕松地理解并掌握實(shí)例分割。

掃碼添加小享，回復(fù)“實(shí)例分割”

免費(fèi)領(lǐng)取全部論文+源碼合集

1.PatchDCT: Patch Refinement for High Quality Instance Segmentation 【ICLR2023】

PatchDCT：用于高質(zhì)量實(shí)例分割的Patch細(xì)化

簡(jiǎn)述：PatchDCT是一種用于高質(zhì)量實(shí)例分割的方法，它通過將解碼自DCT向量的掩碼分解為多個(gè)補(bǔ)丁，并使用分類器和回歸器對(duì)每個(gè)補(bǔ)丁進(jìn)行細(xì)化來提高分割質(zhì)量。在實(shí)驗(yàn)中，PatchDCT方法比Mask-RCNN和DCT-Mask方法表現(xiàn)更好，也與其他最先進(jìn)的方法相當(dāng)。

2.Recurrent Contour-based Instance Segmentation with Progressive Learning 【TPAMI2023】

漸進(jìn)式學(xué)習(xí)的循環(huán)輪廓基礎(chǔ)實(shí)例分割

簡(jiǎn)述：論文提出了一種名為PolySnake的新穎深度網(wǎng)絡(luò)架構(gòu)，用于輪廓基礎(chǔ)實(shí)例分割。通過迭代和漸進(jìn)式輪廓細(xì)化策略實(shí)現(xiàn)了卓越而穩(wěn)健的分割性能。具體來說，PolySnake引入了循環(huán)更新操作符來迭代地估計(jì)物體輪廓，并逐漸將其變形朝向物體邊界。在每次迭代中，PolySnake為當(dāng)前輪廓構(gòu)建了一個(gè)語義豐富的表示形式，并將其輸入到循環(huán)操作符中進(jìn)行進(jìn)一步的輪廓調(diào)整。

3.Instance Segmentation in the Dark 【IJCV2023】

暗光實(shí)例分割

簡(jiǎn)述：論文發(fā)現(xiàn)低光圖像中的噪聲會(huì)引入高頻率干擾到神經(jīng)網(wǎng)絡(luò)的特征圖中，從而降低性能。為了解決這個(gè)問題，作者提出了一種新的學(xué)習(xí)方法，通過自適應(yīng)加權(quán)下采樣層、平滑面向卷積塊和干擾抑制學(xué)習(xí)來減少特征噪聲。此外，作者還發(fā)現(xiàn)使用高比特深度RAW圖像可以更好地保留低光場(chǎng)景信息。通過采集現(xiàn)實(shí)世界的低光實(shí)例分割數(shù)據(jù)集并利用低光RAW合成管道生成逼真的低光數(shù)據(jù)，該方法在無需任何圖像預(yù)處理的情況下實(shí)現(xiàn)了令人滿意的性能。

4.OpenMask3D：Open-Vocabulary 3D Instance Segmentation 【NeurIPS2023】

開放詞匯表的3D實(shí)例分割

簡(jiǎn)述：論文介紹了一種名為OpenMask3D的開放詞匯表的3D實(shí)例分割方法?，F(xiàn)有的3D實(shí)例分割方法只能識(shí)別預(yù)先定義的封閉類別集合中的物體，而OpenMask3D通過學(xué)習(xí)場(chǎng)景中每個(gè)點(diǎn)的可查詢特征來解決這一問題。該方法使用基于CLIP的圖像嵌入的多視角融合來聚合每個(gè)掩碼的特征，并通過預(yù)測(cè)的類無關(guān)3D實(shí)例掩碼指導(dǎo)模型。實(shí)驗(yàn)表明，OpenMask3D優(yōu)于其他開放詞匯表方法，尤其是在長(zhǎng)尾分布上。

5.ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution 【CVPR2023】

一種具有實(shí)例感知采樣和框感知?jiǎng)討B(tài)卷積的3D點(diǎn)云實(shí)例分割網(wǎng)絡(luò)

簡(jiǎn)述：該文介紹了一種新的無聚類3D實(shí)例分割方法ISBNet，它將實(shí)例表示為內(nèi)核并通過動(dòng)態(tài)卷積解碼實(shí)例掩碼。該方法采用實(shí)例感知最遠(yuǎn)點(diǎn)采樣策略來高效地生成高召回率和有區(qū)別性的內(nèi)核，并利用局部聚合層編碼候選特征。此外，作者還展示了在動(dòng)態(tài)卷積中預(yù)測(cè)和利用3D軸對(duì)齊邊界框可以進(jìn)一步提高性能。

掃碼添加小享，回復(fù)“實(shí)例分割”

免費(fèi)領(lǐng)取全部論文+源碼合集

6.Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation 【ICCV2023】

開放詞匯實(shí)例分割的聯(lián)合標(biāo)題基礎(chǔ)和生成

簡(jiǎn)述：作者提出了一種名為Caption Grounding and Generation（CGG）的框架，用于開放詞匯實(shí)例分割，以擴(kuò)展分割模型來分類和分割新的實(shí)例級(jí)別類別。CGG通過僅關(guān)注匹配對(duì)象名詞的基礎(chǔ)損失函數(shù)提高學(xué)習(xí)效率，并引入標(biāo)題生成頭提供額外的監(jiān)督和上下文建模。實(shí)驗(yàn)結(jié)果表明，基礎(chǔ)和生成組件相互補(bǔ)充，顯著提高了新類別的分割性能。

7.DVIS: Decoupled Video Instance Segmentation Framework 【ICCV2023】

解耦的視頻實(shí)例分割框架

簡(jiǎn)述：論文介紹了一種名為DVIS的解耦視頻實(shí)例分割框架，將VIS分為三個(gè)子任務(wù)：分割、跟蹤和細(xì)化。作者引入了一個(gè)新穎的引用跟蹤器和時(shí)序細(xì)化器來構(gòu)建DVIS框架，以解決現(xiàn)有方法在復(fù)雜和長(zhǎng)視頻上表現(xiàn)不佳的問題。DVIS在VIS和VPS上都取得了新的最先進(jìn)的性能，并具有輕量級(jí)的優(yōu)點(diǎn)，允許在單個(gè)GPU上進(jìn)行高效訓(xùn)練和推理。

8.FastInst: A Simple Query-Based Model for Real-Time Instance Segmentation 【CVPR2023】

一種用于實(shí)時(shí)實(shí)例分割的簡(jiǎn)單查詢模型

簡(jiǎn)述：論文提出了一種用于實(shí)時(shí)實(shí)例分割的簡(jiǎn)單查詢模型框架FastInst，它可以在不使用非最大抑制（NMS）的情況下以端到端的方式執(zhí)行，并在COCO測(cè)試集上達(dá)到超過40的AP和32.5 FPS的實(shí)時(shí)速度。作者提出了三個(gè)關(guān)鍵設(shè)計(jì)：實(shí)例激活引導(dǎo)查詢、雙路徑更新策略和真實(shí)掩碼引導(dǎo)學(xué)習(xí)，這些設(shè)計(jì)使得我們可以使用更輕量級(jí)的像素解碼器和更少的Transformer解碼器層，同時(shí)實(shí)現(xiàn)更好的性能。

9.E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation【CVPR2022】

一種基于端到端輪廓的高質(zhì)量高速實(shí)例分割方法

簡(jiǎn)述：E2EC是一種全新的端到端輪廓基礎(chǔ)的實(shí)例分割方法，它通過使用可學(xué)習(xí)的輪廓初始化、多方向?qū)R標(biāo)簽采樣和動(dòng)態(tài)匹配損失，實(shí)現(xiàn)了高質(zhì)量的高速實(shí)例分割。在這種方法中，首先應(yīng)用了一種新的可學(xué)習(xí)輪廓初始化架構(gòu)來替代手動(dòng)設(shè)計(jì)的輪廓初始化，該架構(gòu)包括一個(gè)輪廓初始化模塊用于構(gòu)建更明確的學(xué)習(xí)目標(biāo)，以及一個(gè)全局輪廓變形模塊，可以更好地利用所有頂點(diǎn)的特征。其次，該方法還提出了一種名為多方向?qū)R的新型標(biāo)簽采樣方案，以降低學(xué)習(xí)難度。最后，為了提高邊界細(xì)節(jié)的質(zhì)量，動(dòng)態(tài)匹配預(yù)測(cè)的地面真實(shí)頂點(diǎn)對(duì)，并提出了相應(yīng)的動(dòng)態(tài)匹配損失函數(shù)。

10.Mask Transfiner for High-Quality Instance Segmentation【CVPR2022】

基于Transformer的高質(zhì)量實(shí)例分割方法

簡(jiǎn)述：Mask Transfiner是一種用于高質(zhì)量實(shí)例分割的方法，它將圖像區(qū)域表示為四叉樹，并使用Transformer處理易出錯(cuò)的節(jié)點(diǎn)。該方法可以以低計(jì)算成本預(yù)測(cè)高度準(zhǔn)確的實(shí)例掩碼，并在三個(gè)基準(zhǔn)測(cè)試中優(yōu)于當(dāng)前實(shí)例分割方法。

11.SoftGroup for 3D Instance Segmentation on Point Clouds 【CVPR2022】

用于點(diǎn)云的三維實(shí)例分割SoftGroup

簡(jiǎn)述：作者提出了一種新的三維實(shí)例分割方法SoftGroup，它通過自底向上的軟分組和自上而下的細(xì)化來解決現(xiàn)有方法中的問題。現(xiàn)有的最先進(jìn)方法通常先進(jìn)行語義分割，然后將每個(gè)點(diǎn)與單個(gè)類別相關(guān)聯(lián)，但這些硬預(yù)測(cè)在執(zhí)行語義分割時(shí)會(huì)產(chǎn)生誤差，導(dǎo)致預(yù)測(cè)的實(shí)例與地面真實(shí)值之間的重疊度低，以及大量的誤報(bào)。SoftGroup允許每個(gè)點(diǎn)與多個(gè)類別相關(guān)聯(lián)，以減輕語義預(yù)測(cè)錯(cuò)誤帶來的問題，并通過學(xué)習(xí)將誤報(bào)實(shí)例分類為背景來抑制誤報(bào)實(shí)例。

12.OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds 【NeurIPS2022】

基于點(diǎn)云剛體動(dòng)力學(xué)的無監(jiān)督三維物體分割

簡(jiǎn)述：論文介紹了一種名為OGC的無監(jiān)督三維物體分割方法，可以從原始點(diǎn)云中同時(shí)識(shí)別多個(gè)三維物體。該方法利用動(dòng)態(tài)運(yùn)動(dòng)模式作為監(jiān)督信號(hào)來自動(dòng)發(fā)現(xiàn)剛體對(duì)象，不需要大量的人工注釋來進(jìn)行完全監(jiān)督。該方法由三個(gè)主要組件組成：對(duì)象分割網(wǎng)絡(luò)、輔助的自我監(jiān)督場(chǎng)景流估計(jì)器和核心的對(duì)象幾何一致性組件。通過精心設(shè)計(jì)一系列損失函數(shù)，該方法有效地考慮了多對(duì)象剛體一致性和對(duì)象形狀不變性在時(shí)間和空間尺度上的影響。

掃碼添加小享，回復(fù)“實(shí)例分割”

免費(fèi)領(lǐng)取全部論文+源碼合集