來源：投稿 作者：xin
編輯：學姐

Motivation:

當前存在的多模態(tài)預(yù)訓(xùn)練方法都是將文本和圖像分開訓(xùn)練的，忽略了圖像和文本間的對應(yīng)信息交互。CLIP的提出打通了這一分別訓(xùn)練的界限，但是CLIP實現(xiàn)的是圖像級別與文本級別的對齊，而在指示分割任務(wù)中CLIP并不是最優(yōu)的選擇。「故本文基于指示分割任務(wù)，對像素級別與文本級別的對齊進行了探究。」（下圖所示為CLIP與本文提出的CRIS方法對比）

Method

本文的idea如下，有效利用預(yù)訓(xùn)練好的CLIP的知識（即文本特征與圖像特征），接著設(shè)計了visual-language decoder從文本特征到像素級的圖像特征傳遞細粒度的分割信息。最后將像素級圖像特征和全局文本特征使用對比學習策略拉近文本和與之相關(guān)像素的距離，推遠與之不相關(guān)像素的距離。

本文提出CRIS框架圖如下，可以分為3個部分，分別為「圖像、文本特征提??；視覺語言解碼器以及文本像素對比損失」。

P、N表示正負例。

最后，為了獲取最終的分割結(jié)果，將變到，再上采樣到原圖大小。

Result

在三個主流數(shù)據(jù)機上驗證了提出方法的有效性

cvpr 論文學姐之前整理了大概500+篇

包含圖像分割等55個細分方向

關(guān)注【學姐帶你玩AI】公眾號，后臺回復(fù)“CVPR”免費獲取嗷