本周六，由林宙辰、程明明、鄧成教授領(lǐng)銜的CSIG-CVPR2020圖像語(yǔ)義分割&跨模態(tài)學(xué)習(xí)專(zhuān)題將在極市平臺(tái)直播，7位優(yōu)秀青年學(xué)子將介紹他們今年CVPR 2020一作論文。請(qǐng)大家鎖定直播時(shí)間（6/6上午9:30）。

今年CVPR 2020會(huì)議將于6 月 14-19 日在美國(guó)西雅圖舉行, 目前會(huì)議接收論文結(jié)果已公布，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22% 。極市平臺(tái)特推出了CVPR 2020專(zhuān)題直播分享，往期分享請(qǐng)前往

https://bbs.cvmart.net/topics/149

上月，極市平臺(tái)獨(dú)家直播了CSIG?–廣東省CVPR2020預(yù)交流報(bào)告會(huì)，受到了大家的一致好評(píng)，在線觀看人數(shù)達(dá)1.8萬(wàn)人，這次極市平臺(tái)將繼續(xù)為大家?guī)?lái)一頓豐富的學(xué)術(shù)大餐。

6月6日（星期六），極市將獨(dú)家直播由中國(guó)圖象圖形學(xué)學(xué)會(huì)（CSIG）主辦的CSIG-CVPR 2020圖像語(yǔ)義分割和跨模態(tài)學(xué)習(xí)專(zhuān)題學(xué)術(shù)報(bào)告會(huì)。

直播地址

http://live.bilibili.com/3344545

CSIG-CVPR 2020論文專(zhuān)題學(xué)術(shù)報(bào)告會(huì)為了給相關(guān)領(lǐng)域研究者、技術(shù)開(kāi)發(fā)人員和研究生介紹計(jì)算機(jī)視覺(jué)前沿理論、方法及技術(shù)的一些最新進(jìn)展，邀請(qǐng)了程明明和鄧成兩位領(lǐng)域?qū)＜曳謩e介紹圖像語(yǔ)義分割和跨模態(tài)學(xué)習(xí)前沿進(jìn)展，國(guó)內(nèi)此領(lǐng)域部分優(yōu)秀團(tuán)隊(duì)的青年學(xué)子介紹他們今年CVPR 2020錄用論文的最新研究成果，不僅如此，報(bào)告會(huì)還特地設(shè)置了圓桌討論環(huán)節(jié)，大家可以期待一下教授大牛和青年學(xué)子們精彩的思想碰撞。

01?直播信息

時(shí)間：2020年6月6日 （周六）09:30~16:35

主題

CSIG-CVPR 2020論文專(zhuān)題學(xué)術(shù)報(bào)告會(huì)?|?圖像語(yǔ)義分割和跨模態(tài)學(xué)習(xí)專(zhuān)題

02?嘉賓介紹

研討主題：圖像語(yǔ)義分割前沿進(jìn)展

南開(kāi)大學(xué)教授，計(jì)算機(jī)系主任，國(guó)家“萬(wàn)人計(jì)劃”青拔、“優(yōu)青”獲得者。主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)，在圖像場(chǎng)景理解、視覺(jué)顯著性物體檢測(cè)等方面取得了多項(xiàng)具有國(guó)際影響力的創(chuàng)新性成果。在相關(guān)領(lǐng)域頂級(jí)（CCF A類(lèi)）國(guó)際期刊和會(huì)議上發(fā)表學(xué)術(shù)論文50余篇，入選Elsevier 2016-2018中國(guó)高被引學(xué)者榜單。多項(xiàng)技術(shù)被普林斯頓大學(xué)、布朗大學(xué)等國(guó)際著名大學(xué)的圖形學(xué)和視覺(jué)課程列為課程內(nèi)容。

研討主題：跨模態(tài)學(xué)習(xí)前沿進(jìn)展

西安電子科技大學(xué)教授、博士生導(dǎo)師。中國(guó)圖像圖形學(xué)會(huì)高級(jí)會(huì)員、中國(guó)計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員。主要研究方向?yàn)槎嗄B(tài)數(shù)據(jù)協(xié)同計(jì)算理論與方法。在國(guó)際一流期刊T-NNLS、T-CYB、T-IP、T-MM等和國(guó)際頂級(jí)會(huì)議ICML、NeurIPS、ICCV、CVPR、KDD、AAAI、IJCAI等上發(fā)表論文70余篇。現(xiàn)擔(dān)任國(guó)際知名期刊Pattern Recognition、Neurocomputing副編輯；擔(dān)任多個(gè)國(guó)際學(xué)術(shù)會(huì)議的高級(jí)程序委員/程序委員，如ICML、NeurIPS、ICCV、CVPR、KDD、AAAI、IJCAI等。

03?會(huì)議流程

04?報(bào)告題目及中文摘要

?報(bào)告1.?Learning Dynamic Routing for Semantic Segmentation（面向語(yǔ)義分割的動(dòng)態(tài)路由學(xué)習(xí)）

摘要：最近，大量手工設(shè)計(jì)和搜索得到的網(wǎng)絡(luò)被應(yīng)用于語(yǔ)義分割。然而，之前的工作大多在預(yù)先定義的靜態(tài)網(wǎng)絡(luò)結(jié)構(gòu)中處理各種尺度的輸入，如FCN、U-Net和DeepLab系列等。本文研究了一種概念上的新方法來(lái)緩解語(yǔ)義表示中的尺度差異，并將其命名為動(dòng)態(tài)路由。我們所提出的框架會(huì)生成與數(shù)據(jù)相關(guān)的路由，以適應(yīng)每個(gè)圖像的尺度分布。為此，我們提出了一個(gè)可差分的門(mén)函數(shù)，稱(chēng)為軟條件門(mén)，用于動(dòng)態(tài)選擇尺度變換路徑。此外，通過(guò)對(duì)門(mén)函數(shù)進(jìn)行預(yù)算約束，可以進(jìn)一步降低計(jì)算成本。我們進(jìn)一步放寬了網(wǎng)絡(luò)級(jí)路由空間，以支持多路徑傳播和每次轉(zhuǎn)發(fā)中的跳接，并帶來(lái)了可觀的網(wǎng)絡(luò)容量。為了證明動(dòng)態(tài)特性的優(yōu)越性，我們與幾種靜態(tài)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了比較，這些結(jié)構(gòu)可以作為路由空間中的特殊情況進(jìn)行建模。在Cityscapes和PASCAL VOC 2012上進(jìn)行了廣泛的實(shí)驗(yàn)，以說(shuō)明動(dòng)態(tài)框架的有效性。

論文鏈接：https://arxiv.org/pdf/2003.10401.pdf

代碼鏈接：https://github.com/yanwei-li/DynamicRouting

報(bào)告人：李彥瑋（中科院自動(dòng)化所研究生）

?報(bào)告2.?Spatial Pyramid Based Graph Reasoning for Semantic Segmentation（面向語(yǔ)義分割的基于空間金字塔的圖推理算法）

摘要：全局建模對(duì)于密集的預(yù)測(cè)任務(wù)（如語(yǔ)義分割）來(lái)說(shuō)是基本操作，但傳統(tǒng)卷積運(yùn)算受到有限感受野的限制。本文中，我們將圖卷積應(yīng)用到語(yǔ)義分割任務(wù)中，并提出了一種改進(jìn)的Laplacian。圖推理算法直接在組織為空間金字塔的原始特征空間中進(jìn)行。與現(xiàn)有的方法不同，我們的Laplacian是依賴(lài)數(shù)據(jù)的，并且我們引入了一個(gè)注意力對(duì)角線矩陣來(lái)學(xué)習(xí)一個(gè)更好的距離度量。它擺脫了映射和再映射的過(guò)程，使得我們提出的方法成為一個(gè)輕量級(jí)模塊，可以很容易地插入到當(dāng)前的計(jì)算機(jī)視覺(jué)網(wǎng)絡(luò)架構(gòu)中。更重要的是，直接在特征空間中執(zhí)行圖推理可以保持空間關(guān)系，使得空間金字塔可以從不同尺度上探索多種遠(yuǎn)距離的上下文模式。在Cityscapes、COCO Stuff、PASCAL Context和PASCAL VOC等數(shù)據(jù)集上的實(shí)驗(yàn)證明了我們提出的方法在語(yǔ)義分割上的有效性。我們?cè)谟?jì)算和內(nèi)存開(kāi)銷(xiāo)方面具有性能優(yōu)勢(shì)。

論文鏈接：?https://arxiv.org/pdf/2003.10211.pdf

報(bào)告人：李夏（北京大學(xué)研究生）

?報(bào)告3.?Self-Supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation（基于自監(jiān)督等效注意力機(jī)制的弱監(jiān)督語(yǔ)義分割）

摘要：圖像級(jí)弱監(jiān)督語(yǔ)義分割是近年來(lái)深入研究的一個(gè)具有挑戰(zhàn)性的問(wèn)題。大多數(shù)先進(jìn)的解決方案都利用了類(lèi)激活圖（CAM）。然而，由于全監(jiān)督和弱監(jiān)督之間的差距，CAM很難作為物體掩碼。在本論文中，我們提出了一種自監(jiān)督等效注意力機(jī)制（SEAM）來(lái)發(fā)現(xiàn)額外的監(jiān)督并縮小差距。我們的方法基于如下觀察，即等價(jià)性是全監(jiān)督語(yǔ)義分割中的一個(gè)隱含約束，其像素級(jí)標(biāo)簽在數(shù)據(jù)增強(qiáng)過(guò)程中采取與輸入圖像相同的空間變換。然而，這種約束在通過(guò)圖像級(jí)監(jiān)督訓(xùn)練的CAM上會(huì)丟失。因此，我們提出了對(duì)來(lái)自不同變換圖像的預(yù)測(cè)CAM進(jìn)行一致性正則化，以提供網(wǎng)絡(luò)學(xué)習(xí)的自監(jiān)督。此外，我們提出了一個(gè)像素相關(guān)模塊（pixel correlation module，PCM），利用上下文信息，通過(guò)相似的近鄰來(lái)細(xì)化當(dāng)前像素的預(yù)測(cè)，進(jìn)一步提高CAMs的一致性。在PASCAL VOC 2012數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，我們的方法在相同的監(jiān)督水平下，其性能優(yōu)于最先進(jìn)的方法。該代碼已經(jīng)在網(wǎng)上發(fā)布。

論文鏈接：https://arxiv.org/pdf/2004.04581.pdf

代碼鏈接：https://github.com/YudeWang/SEAM

報(bào)告人：王愚德（中科院計(jì)算所博士生）

?報(bào)告4.?IMRAM: Iterative Matching With Recurrent Attention Memory for Cross-Modal Image-Text Retrieval（基于循環(huán)注意力記憶的迭代匹配算法-跨模式檢索）

摘要：啟用圖像和文本的雙向檢索，對(duì)于理解視覺(jué)和語(yǔ)言之間的對(duì)應(yīng)關(guān)系非常重要。現(xiàn)有的方法利用注意力機(jī)制，以精細(xì)的方式探索這種對(duì)應(yīng)關(guān)系。然而，他們中的大多數(shù)方法都是平等地考慮所有的語(yǔ)義，從而將它們統(tǒng)一起來(lái)，而不考慮它們的多樣復(fù)雜性。事實(shí)上，語(yǔ)義是多樣化的（即涉及不同種類(lèi)的語(yǔ)義概念），而人類(lèi)通常遵循一種隱式結(jié)構(gòu)將它們組合成可理解的語(yǔ)言。在現(xiàn)有的方法中，可能很難對(duì)這種復(fù)雜的對(duì)應(yīng)關(guān)系進(jìn)行優(yōu)化捕捉。在本文中，為了解決這樣的缺陷，我們提出了一種迭代匹配與循環(huán)注意力記憶（IMRAM）方法，在這種方法中，圖像和文本之間的對(duì)應(yīng)關(guān)系是通過(guò)多步對(duì)齊來(lái)捕獲的。具體來(lái)說(shuō)，我們引入了一種迭代匹配方案來(lái)逐步探索這種細(xì)粒度的對(duì)應(yīng)關(guān)系。記憶蒸餾單元被用來(lái)細(xì)化從早期步驟到后期步驟的對(duì)齊知識(shí)。在三個(gè)基準(zhǔn)數(shù)據(jù)集，包括Flickr8K、Flickr30K和MS COCO的實(shí)驗(yàn)結(jié)果表明，我們的IMRAM達(dá)到了最先進(jìn)的性能，很好地證明了它的有效性。同時(shí)在KWAI-AD商業(yè)廣告數(shù)據(jù)集上的實(shí)驗(yàn)進(jìn)一步驗(yàn)證了我們的方法在實(shí)際場(chǎng)景中的適用性。

論文鏈接：https://arxiv.org/pdf/2003.03772.pdf

代碼鏈接：https://github.com/HuiChen24/IMRAM

報(bào)告人：陳輝（清華大學(xué)博士生）

?報(bào)告5.?Cross-modality Person re-identification with Shared-Specific Feature Transfer（基于共享特殊性特征轉(zhuǎn)移的跨模態(tài)行人重識(shí)別）

摘要：跨模態(tài)行人重識(shí)別是智能視頻分析的一項(xiàng)具有挑戰(zhàn)性但又很關(guān)鍵的技術(shù)?，F(xiàn)有的工作主要集中在通過(guò)將不同的模態(tài)嵌入到同一個(gè)特征空間中，然后學(xué)習(xí)共性表示。然而，僅學(xué)習(xí)共性特征意味著極大的信息損失，降低了特征差異性的上限。在這篇文章中，我們提出了一種新型的跨模態(tài)共享特征轉(zhuǎn)移算法來(lái)解決上述局限性，探索模態(tài)共享信息和模態(tài)特異性特征對(duì)提高重識(shí)別性能的潛力。我們根據(jù)共享特征對(duì)不同模態(tài)樣本的親和性進(jìn)行建模，然后在模態(tài)之間和跨模態(tài)之間轉(zhuǎn)移共享和特定的特征。我們還提出了一種互補(bǔ)特征學(xué)習(xí)策略，包括模態(tài)自適應(yīng)、對(duì)抗性學(xué)習(xí)和重構(gòu)增強(qiáng)，分別學(xué)習(xí)各模態(tài)的判別性和互補(bǔ)共享特征和特定特征。整個(gè)算法可以通過(guò)端到端的方式進(jìn)行訓(xùn)練。我們進(jìn)行了綜合實(shí)驗(yàn)，驗(yàn)證了整體算法的優(yōu)越性和各組件的有效性。在兩個(gè)主流基準(zhǔn)數(shù)據(jù)集SYSU-MM01和RegDB上，提出的算法分別超出當(dāng)前最好算法22.5%和19.3%的mAP。

論文鏈接：https://arxiv.org/pdf/2002.12489.pdf

報(bào)告人：陸巖（中國(guó)科學(xué)技術(shù)大學(xué)研究生）

?報(bào)告6.?Universal Weighting Metric Learning for Cross-Modal Matching（基于通用權(quán)重度量學(xué)習(xí)的跨模態(tài)匹配）

摘要：在視覺(jué)和語(yǔ)言領(lǐng)域，跨模態(tài)匹配一直是一個(gè)重要的研究課題。學(xué)習(xí)適當(dāng)?shù)耐诰虿呗?，?duì)信息對(duì)進(jìn)行采樣和加權(quán)，對(duì)于跨模態(tài)匹配的性能至關(guān)重要。然而，現(xiàn)有的度量學(xué)習(xí)方法大多是針對(duì)非模態(tài)匹配而開(kāi)發(fā)的，不適合在具有異質(zhì)特征的多模態(tài)數(shù)據(jù)上進(jìn)行跨模態(tài)匹配。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)簡(jiǎn)單的、可解釋的通用加權(quán)框架，為分析各種損失函數(shù)的可解釋性提供了工具。此外，我們?cè)谕ㄓ眉訖?quán)框架下引入了一個(gè)新的多項(xiàng)式損失函數(shù)，分別定義了正負(fù)信息對(duì)的加權(quán)函數(shù)。在兩個(gè)圖像-文本匹配基準(zhǔn)和兩個(gè)視頻-文本匹配基準(zhǔn)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。

報(bào)告人：位紀(jì)偉（電子科技大學(xué)博士生）

?報(bào)告7.?Cross-Domain Correspondence Learning for Exemplar-Based Image （針對(duì)示例圖像的跨域?qū)?yīng)性學(xué)習(xí)）

摘要：我們提出了一個(gè)基于示例的圖像翻譯的通用框架，它從一個(gè)不同領(lǐng)域的輸入（例如，語(yǔ)義分割掩模，或邊緣貼圖，或姿勢(shì)關(guān)鍵點(diǎn)）中，給定一個(gè)示例圖像，合成一個(gè)照片逼真的圖像。輸出的風(fēng)格（例如顏色、紋理）與示例中的語(yǔ)義對(duì)象一致。我們提出聯(lián)合學(xué)習(xí)跨域?qū)?yīng)和圖像翻譯，這兩個(gè)任務(wù)相互促進(jìn)，因此可以在弱監(jiān)督下學(xué)習(xí)。來(lái)自不同域的圖像首先被對(duì)齊到一個(gè)中間域，在這個(gè)中間域中建立了密集的對(duì)應(yīng)關(guān)系。然后，網(wǎng)絡(luò)根據(jù)示例中語(yǔ)義對(duì)應(yīng)塊的外觀來(lái)合成圖像。我們證明了此方法在一些圖像翻譯任務(wù)中的有效性。我們的方法在生成圖像的質(zhì)量方面明顯優(yōu)于最先進(jìn)的方法，圖像風(fēng)格和示例圖像具有很好的語(yǔ)義一致性。此外，我們還展示了此方法在多個(gè)應(yīng)用中的實(shí)用性。

論文鏈接：https://arxiv.org/pdf/2004.05571.pdf

代碼鏈接（未來(lái)會(huì)開(kāi)源）：https://panzhang0212.github.io/CoCosNet/

報(bào)告人：張攀（中國(guó)科學(xué)技術(shù)大學(xué)博士生）