|極市線上分享第68期|

?

今年ECCV2020會議將于2020年8月23日至28日在線上舉行。目前ECCV已開獎(jiǎng)，今年共收到5025篇有效文章，數(shù)據(jù)為ECCV2018兩倍之多，再創(chuàng)新高。最終有1361篇文章被接收發(fā)表，接收率27%，較上屆稍有下降。

?

8月15日（星期六）-8月16日（星期日），極市將獨(dú)家直播由中國圖象圖形學(xué)學(xué)會（CSIG）主辦的CSIG-ECCV 2020論文預(yù)交流在線專題學(xué)術(shù)報(bào)告會。其中，15日的會議由CSIG-機(jī)器視覺專委會、山東大學(xué)承辦。16日的會議由廣東省圖象圖形學(xué)會（GDSIG）協(xié)辦，深圳大學(xué)、華南理工大學(xué)、CSIG-文檔圖像分析與識別專委會、GDSIG-計(jì)算機(jī)視覺專委會承辦。

?

關(guān)注“極市平臺”公眾號，回復(fù)“68”可獲取會議免費(fèi)直播鏈接及講者PPT資源。

?

CSIG-ECCV 2020論文預(yù)交流專題學(xué)術(shù)報(bào)告會，為了給相關(guān)領(lǐng)域研究者、技術(shù)開發(fā)人員和研究生介紹計(jì)算機(jī)視覺前沿理論、方法及技術(shù)的一些最新進(jìn)展，邀請了國內(nèi)該領(lǐng)域部分優(yōu)秀團(tuán)隊(duì)的青年學(xué)子介紹他們今年ECCV 2020錄用論文的最新研究成果。

?

01 直播信息

時(shí)間：2020年8月15日 （周六）—8月16日（周日）

主題：CSIG-ECCV 2020論文預(yù)交流專題學(xué)術(shù)報(bào)告會

?

02會議流程

8月15日08:30-17:10

2020年8月15日上午?（會議主持人：沈琳琳教授、鄭偉詩教授）

08:30 – 08:50

騰訊會議系統(tǒng)登錄開放（會議ID另行通知）

08:50 – 09:00

會議開幕致辭?（賴劍煌?教授）

09:00 – 09:25

TENet: Triple Excitation Network ? for Video Salient Object Detection

報(bào)告人*：任蘇成、何盛烽

09:25 – 09:50

Geometry Constrained Weakly ? Supervised Object Localization

報(bào)告人：盧偉增、沈琳琳

09:50 – 10:15

Label Propagation with Augmented Anchors: ? A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation

報(bào)告人：張亞斌、賈奎

10:15 – 10:40

Suppressing Mislabeled Data via ? Grouping and Self-Attention

報(bào)告人：王鍇、喬宇、彭小江

10:40 – 11:05

An Asymmetric Modeling for Action ? Assessment

報(bào)告人：高基彬、鄭偉詩

11:05 – 11:30

RD-GAN: Few/Zero-Shot Chinese ? Character Style Transfer via Radical Decomposition and Rendering

報(bào)告人：黃耀雄、金連文、王永攀

11:30 – 11:55

Collaborative Training between ? Region Proposal Localization and Classification for Domain Adaptive Object ? Detection

報(bào)告人：趙贛龍、李冠彬、林倞

2020年8月15日下午（會議主持人：賈奎?教授）

14:30 – 14:55

Interactive Multi-Dimension ? Modulation with Dynamic Controllable Residual Learning for Image Restoration

報(bào)告人：何靜雯、喬宇、董超

14:55 – 15:20

Self-Supervised CycleGAN for ? Object-Preserving Image-to-Image Domain Adaptation

報(bào)告人：謝鑫鵬、沈琳琳

15:20 – 15:45

Human Interaction Learning on 3D ? Skeleton Point Clouds for Video Violence Recognition

報(bào)告人：蘇宇堃、吳慶耀

15:45 – 16:10

XingGAN for Person Image Generation

報(bào)告人：唐浩、Philip H.S. Torr、Nicu Sebe

16:10 – 16:35

Generative Low-bitwidth Data Free ? Quantization

報(bào)告人：許守愷、譚明奎

16:35 – 17:00

Unselfie: Translating Selfies to ? Neutral-pose Portraits in the Wild

報(bào)告人：馬里千、呂婧琬、Alexei A. Efros

17:00 – 17:10

閉幕式致辭?（金連文?教授）

?

8月16日（13:30-17:50）

專題

時(shí)間

主題

講者

?

13:30-13:35

嘉賓致辭

林宙辰

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索

13:35-13:50

S2DNAS:Transforming Static CNN Model for ? Dynamic Inference via Neural Architecture Search

袁之航

13:50-14:05

TF-NAS: Rethinking Three Search Freedoms of ? Latency-Constrained Differentiable Neural Architecture Search

胡一博

14:05-14:20

A Generic Graph-based Neural Architecture ? Encoding Scheme for Predictor-based NAS

寧雪妃

對抗學(xué)習(xí)

14:20-14:35

Multimodal Shape Completion via Conditional ? Generative Adversarial Networks

吳潤迪

14:35-14:50

CPGAN: Full-Spectrum Content-Parsing ? Generative Adversarial Networks for Text-to-Image Synthesis

梁家棟

14:50-15:05

Unpaired Image-to-Image Translation using ? Adversarial Consistency Loss

趙怡浩

15:05-15:20

Dual Adversarial Network: Toward Real-world Noise Removal and ? Noise Generation

岳宗勝

15:20-15:35

TuiGAN: Learning Versatile Image-to-Image
? Translation with Two Unpaired Images

林劍新

?

15:35-15:45

中場休息

?

圖像語義分割

15:45-16:00

Part-aware Prototype Network for Few-shot ? Semantic Segmentation

劉永飛

16:00-16:15

Class-wise Dynamic Graph Convolution for ? Semantic Segmentation

胡含哲

16:15-16:30

Improving Semantic Segmentation via ? Decoupled Body and Edge Supervision

李祥泰

16:30-16:45

EfficientFCN: Holistically-guided Decoding ? for Semantic Segmentation

劉建博

自監(jiān)督和半監(jiān)督學(xué)習(xí)

16:45-17:00

Self6D: Self-Supervised Monocular 6D Object ? Pose Estimation

王谷

17:00-17:15

CycAs: Self-supervised Cycle Association ? for Learning Re-identifiable Descriptions

王重道

17:15-17:30

Label Propagation with Augmented Anchors: A ? Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation

張亞斌

17:30-17:45

Multi-Task Curriculum Framework for ? Open-Set Semi-Supervised Learning

郁青

?

17:45-17:50

嘉賓總結(jié)

林宙辰

?

?

03報(bào)告題目及中文摘要

8月15日會議

報(bào)告1.?TENet: Triple Excitation Network for Video Salient Object Detection (基于三重激勵(lì)網(wǎng)絡(luò)的視頻顯著性檢測)

摘要：本文提出一種簡單有效三重激勵(lì)網(wǎng)絡(luò)，從空間、時(shí)間和在線激勵(lì)三個(gè)方面加強(qiáng)視頻顯著目標(biāo)檢測(VSOD)。這些激勵(lì)機(jī)制是根據(jù)課程學(xué)習(xí)的精神而設(shè)計(jì)的，旨在通過使用標(biāo)簽有選擇地激發(fā)特征激活來減少訓(xùn)練開始時(shí)的學(xué)習(xí)模糊性。然后通過課程率的改變，逐步減少標(biāo)簽激勵(lì)的權(quán)重，并用課程互補(bǔ)圖代替標(biāo)簽，以更好更快地收斂。特別是，空間激勵(lì)加強(qiáng)了對清晰物體邊界的特征激活，而時(shí)間激勵(lì)通過運(yùn)動(dòng)來強(qiáng)調(diào)時(shí)空顯著區(qū)域?？臻g和時(shí)間激勵(lì)可以解決視頻顯著性檢測的顯著性轉(zhuǎn)移問題和時(shí)空特征之間的沖突。此外，我們的半課程學(xué)習(xí)設(shè)計(jì)實(shí)現(xiàn)了視頻顯著性檢測的第一個(gè)在線優(yōu)化策略，允許在測試過程中激勵(lì)和提高顯著性響應(yīng)，而無需重新訓(xùn)練。所提出的三重激勵(lì)可以很容易地嵌入不同的視頻顯著性檢測方法。大量的實(shí)驗(yàn)表明，這三種激勵(lì)方法都是有效的，而且該方法的性能優(yōu)于現(xiàn)有的圖像和視頻顯著目標(biāo)檢測方法。

報(bào)告人：任蘇成?(指導(dǎo)老師：何盛烽)

報(bào)告2.?Geometry Constrained Weakly Supervised Object Localization (基于幾何約束的弱監(jiān)督目標(biāo)定位)

摘要：我們提出一種用于弱監(jiān)督目標(biāo)定位(WSOL)的幾何約束網(wǎng)絡(luò)GC-Net，它由三個(gè)模塊組成：檢測器，生成器和分類器。檢測器預(yù)測一組描述幾何形狀(即橢圓或矩形)的系數(shù)所定義的物體位置，該幾何形狀受到發(fā)生器產(chǎn)生的掩模的幾何約束。分類器將生成的掩碼圖像作為輸入，并對對象和背景執(zhí)行兩個(gè)互補(bǔ)的分類任務(wù)。為了使掩模更緊湊和更完整，我們提出了一種新穎的多任務(wù)損失函數(shù)，該函數(shù)考慮了幾何形狀的面積，分類交叉熵和負(fù)信息熵。與以前的方法相比，GC-Net經(jīng)過端到端訓(xùn)練并預(yù)測對象位置，而無需任何可能需要額外調(diào)整的后處理(例如閾值確定)。在CUB-200-2011和ILSVRC2012數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，GC-Net在很大程度上優(yōu)于最新方法。

報(bào)告人：盧偉增?(指導(dǎo)老師：沈琳琳)

論文鏈接：https://arxiv.org/abs/2007.09727

?

報(bào)告3.?Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation (基于擴(kuò)展錨點(diǎn)的標(biāo)簽傳播算法:一個(gè)用于無監(jiān)督域適應(yīng)任務(wù)的半監(jiān)督基線模型)

摘要：基于半監(jiān)督學(xué)習(xí)任務(wù)與無監(jiān)督域適應(yīng)任務(wù)之間的相似性，半監(jiān)督學(xué)習(xí)中的基礎(chǔ)原理（如聚類假設(shè)）在最近的無監(jiān)督域適應(yīng)算法中被廣泛使用。然而，這些半監(jiān)督原理是基于同一數(shù)據(jù)分布的先驗(yàn)假設(shè)提出的，故而在數(shù)據(jù)分布存在差異的域適應(yīng)任務(wù)中的適用性是未知的。在本文中，我們研究了如何針對域適應(yīng)任務(wù)對半監(jiān)督算法進(jìn)行適當(dāng)擴(kuò)展。以標(biāo)簽傳播算法為例，我們首先分析了直接將標(biāo)簽傳播算法用于域適應(yīng)任務(wù)的弊端，繼而從理論上分析了如何修正仿射矩陣可以實(shí)現(xiàn)更優(yōu)的分類表現(xiàn)?；谏鲜龇治觯疚奶岢隽艘环N基于擴(kuò)展錨點(diǎn)的標(biāo)簽傳播算法。在該算法中，我們引入具有高置信度偽標(biāo)簽的虛擬樣本(即擴(kuò)展的錨點(diǎn))來增強(qiáng)標(biāo)簽傳播算法在域適應(yīng)任務(wù)上的表現(xiàn)。通過將該方法和域不變特征學(xué)習(xí)相結(jié)合，我們可以更好的解決域適應(yīng)問題。實(shí)驗(yàn)表明，如此簡潔的半監(jiān)督算法的擴(kuò)展方法在域適應(yīng)任務(wù)上的性能遠(yuǎn)優(yōu)于傳統(tǒng)的基于域不變特征學(xué)習(xí)的方法，而且該方法可以為現(xiàn)有域適應(yīng)算法提供更優(yōu)的目標(biāo)數(shù)據(jù)的偽標(biāo)簽，從而進(jìn)一步提升現(xiàn)有方法的性能。最后，我們的研究展示了在域適應(yīng)任務(wù)(即數(shù)據(jù)分布存在差異的情況)中研究半監(jiān)督學(xué)習(xí)技術(shù)的深遠(yuǎn)意義。

報(bào)告人：張亞斌?(指導(dǎo)老師：賈奎)

代碼鏈接：https://github.com/YBZh/Label-Propagation-with-Augmented-Anchors

?

報(bào)告4.?Suppressing Mislabeled Data via Grouping and Self-Attention (基于分組和自我注意力機(jī)制的錯(cuò)誤標(biāo)簽抑制)

摘要：深度網(wǎng)絡(luò)在大規(guī)模的干凈數(shù)據(jù)上取得了很好的效果，但是當(dāng)從噪聲標(biāo)簽中學(xué)習(xí)時(shí)，性能會顯著降低。為了抑制錯(cuò)誤標(biāo)記數(shù)據(jù)的影響，本文提出了一種概念簡單而有效的訓(xùn)練塊，稱為注意特征混合(AFM)，它通過群組中的樣本交互，更多地關(guān)注干凈的樣本，而較少地關(guān)注錯(cuò)誤標(biāo)記的樣本。具體地說，即插即用的AFM首先利用分組模塊構(gòu)造群體，并為分組樣本分配注意權(quán)重，然后使用具有注意權(quán)重的混合模塊對大量噪聲抑制樣本進(jìn)行插值。AFM在噪聲魯棒深度學(xué)習(xí)方面有幾個(gè)吸引人的優(yōu)點(diǎn)。(i)?它不依賴于任何假設(shè)和額外的干凈子集。(ii)?在大量插值的情況下，與原始噪聲比相比，噪聲樣本的比率顯著降低。(iii)與分類器聯(lián)合優(yōu)化插值權(quán)重，通過低關(guān)注度抑制噪聲數(shù)據(jù)的影響。(iv)?它部分繼承了混合的鄰域風(fēng)險(xiǎn)最小化，以減輕過度擬合，同時(shí)通過在混合鄰域分布中對誤標(biāo)數(shù)據(jù)進(jìn)行較少的特征目標(biāo)向量采樣來改善過度擬合。大量的實(shí)驗(yàn)表明，AFM在兩個(gè)具有挑戰(zhàn)性的現(xiàn)實(shí)世界噪聲數(shù)據(jù)集(Food101N和Clothing1M)上產(chǎn)生了最先進(jìn)的結(jié)果。

報(bào)告人：王鍇?(指導(dǎo)老師：喬宇、彭小江)

報(bào)告5.?An Asymmetric Modeling for Action Assessment (一種在動(dòng)作評估任務(wù)中的非對稱建模方法)

摘要：動(dòng)作評估是一個(gè)對動(dòng)作的演示進(jìn)行評估的任務(wù)。它廣泛適用于許多現(xiàn)實(shí)場景中，例如醫(yī)療場景和體育賽事。然而，現(xiàn)有的動(dòng)作評估方法大多局限于單個(gè)人的動(dòng)作，尤其是缺乏對主體之間(例如人與物之間)不對稱關(guān)系建模的方法；因?yàn)樵谠S多交互式動(dòng)作中主體之間始終存在從屬關(guān)系，這種局限性破壞了它們評估包含不對稱交互式動(dòng)作的能力。在這項(xiàng)工作中，我們對主體之間的不對稱交互關(guān)系進(jìn)行建模，從而進(jìn)行動(dòng)作評估。特別地，我們提出了一種非對稱交互模塊(AIM)，明確地模擬一個(gè)動(dòng)作中智能主體之間的非對稱交互，在該動(dòng)作中，我們將這些主體分為主要主體(例如人)和次要主體(例如物體)。我們在包含外科手術(shù)動(dòng)作的JIGSAWS數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并另外收集了用于互動(dòng)式運(yùn)動(dòng)動(dòng)作評估的新數(shù)據(jù)集TASD-2。在兩個(gè)交互式動(dòng)作數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了此模型的有效性，并且我們的方法達(dá)到了最優(yōu)的性能。在AQA-7數(shù)據(jù)集上進(jìn)行的擴(kuò)展實(shí)驗(yàn)還驗(yàn)證了我們的框架在傳統(tǒng)動(dòng)作評估的泛化能力。

報(bào)告人：高基彬?(指導(dǎo)老師：鄭偉詩)

?

報(bào)告6.?RD-GAN: Few/Zero-Shot Chinese Character Style Transfer via Radical Decomposition and Rendering (通過部首分解與渲染的少/零樣本漢字字體風(fēng)格轉(zhuǎn)換)

摘要：風(fēng)格轉(zhuǎn)換因?yàn)槠鋺?yīng)用的多樣性而一直備受關(guān)注。與英文字符或一般的藝術(shù)風(fēng)格轉(zhuǎn)換任務(wù)相比，漢字字體風(fēng)格轉(zhuǎn)換仍然是一個(gè)重大挑戰(zhàn)，主要由于漢字龐大的類別數(shù)(GB18010-2005標(biāo)準(zhǔn)中規(guī)定70224類)和復(fù)雜的單字結(jié)構(gòu)。最近有人提出了一些基于GAN的風(fēng)格轉(zhuǎn)換方法，但是這些方法將漢字作為一個(gè)整體來處理，從而忽略了構(gòu)成漢字的結(jié)構(gòu)和部首。在這篇論文中，我們提出了一種新的基于部首分解與渲染的生成對抗網(wǎng)絡(luò)(RD-GAN)，并且通過利用漢字由部首組成的特性，實(shí)現(xiàn)了少(零)樣本漢字字體風(fēng)格轉(zhuǎn)換。我們提出的RD-GAN包括三個(gè)模塊:?部首提取器(REM)，部首渲染模塊(RRM)以及多層次判別器(MLD)。在實(shí)驗(yàn)部分也表明了，我們的方法通過利用漢字的部首構(gòu)成，展示出強(qiáng)大的少(零)樣本學(xué)習(xí)能力以及泛化能力。

報(bào)告人：黃耀雄?(指導(dǎo)老師：金連文、王永攀)

?

報(bào)告7.?Collaborative Training between Region Proposal Localization and Classification for Domain Adaptive Object Detection (基于區(qū)域定位和分類協(xié)同優(yōu)化的領(lǐng)域自適應(yīng)物體檢測方法)

摘要：領(lǐng)域自適應(yīng)的物體檢測算法研究從帶標(biāo)注的源領(lǐng)域數(shù)據(jù)中訓(xùn)練得到的物體檢測器遷移到未標(biāo)注的目標(biāo)領(lǐng)域數(shù)據(jù)中并盡可能提升目標(biāo)域的檢測性能。在本文中，我們首次揭露了在較大的領(lǐng)域差異的情況下，基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的雙階段物體檢測算法中區(qū)域候選網(wǎng)絡(luò)模塊和區(qū)域分類模塊展示出截然不同的遷移能力。其中區(qū)域分類模塊可以表現(xiàn)出較好的性能但需要區(qū)域候選網(wǎng)絡(luò)提供質(zhì)量較高的候選區(qū)域作為保證，然而主干網(wǎng)絡(luò)簡單的領(lǐng)域?qū)R對于區(qū)域候選網(wǎng)絡(luò)的適配有效性是不夠的。在本文中，我們深入探討了區(qū)域候選網(wǎng)絡(luò)模塊和區(qū)域分類模塊之間對于領(lǐng)域適配的一致性和差異性，并使用二者協(xié)作訓(xùn)練的方式，采用各自高置信度的樣本來訓(xùn)練另一個(gè)模塊。實(shí)驗(yàn)結(jié)果表明，我們提出的算法在各大領(lǐng)域自適應(yīng)的物體檢測評測數(shù)據(jù)集上都能取得當(dāng)前最佳的性能。

報(bào)告人：趙贛龍?(指導(dǎo)老師：李冠彬、林倞)

?

報(bào)告8.?Interactive Multi-Dimension Modulation with Dynamic Controllable Residual Learning for Image Restoration (基于動(dòng)態(tài)可控殘差學(xué)習(xí)的圖像復(fù)原的交互式多維調(diào)節(jié))

摘要：交互式圖像復(fù)原旨在通過調(diào)節(jié)確定級別的控制系數(shù)來生成復(fù)原圖像。以前的工作僅限于用單個(gè)系數(shù)調(diào)節(jié)圖像。但是，實(shí)際圖像始終包含多種類型的退化，而這些退化不能由一個(gè)系數(shù)很好地確定。本文提出并研究多維(MD)調(diào)節(jié)問題，它旨在跨多種退化類型和級別調(diào)節(jié)輸出效果。與以前的單維(SD)調(diào)節(jié)相比，MD被設(shè)置為自適應(yīng)地處理多個(gè)退化并緩解不同退化中的不平衡學(xué)習(xí)問題。我們還提出了一種深度結(jié)構(gòu)-CResMD，它新引入了可控殘留連接來實(shí)現(xiàn)多維調(diào)節(jié)。具體來說，我們在常規(guī)的殘差連接上添加了一個(gè)控制變量，以允許對輸入殘差進(jìn)行加權(quán)求和。這些權(quán)重的值由另一個(gè)條件網(wǎng)絡(luò)生成。我們進(jìn)一步提出了一種基于Beta分布的新數(shù)據(jù)采樣策略，以平衡不同的退化類型和水平。使用退化圖像和退化信息作為輸入，網(wǎng)絡(luò)可以輸出相應(yīng)的復(fù)原圖像。通過調(diào)節(jié)條件向量，用戶可以在測試時(shí)控制MD空間中的輸出效果。大量實(shí)驗(yàn)表明，提出的CResMD實(shí)現(xiàn)了在SD和MD調(diào)節(jié)任務(wù)上均具有出色的性能。

報(bào)告人：何靜雯?(指導(dǎo)老師：喬宇、董超)

?

報(bào)告9.?Self-Supervised CycleGAN for Object-Preserving Image-to-Image Domain Adaptation (基于自監(jiān)督CycleGAN的圖像領(lǐng)域自適應(yīng))

摘要：基于生成對抗網(wǎng)絡(luò)(GAN)的圖像轉(zhuǎn)換方法(例如CycleGAN)很容易在圖像遷移過程中發(fā)生物體形變的問題，這降低了它們在領(lǐng)域適應(yīng)等任務(wù)上的實(shí)用性。通過增加分割網(wǎng)絡(luò)作為輔助正則化來防止內(nèi)容失真是一種不錯(cuò)的方法。但是，這些網(wǎng)絡(luò)需要獲取額外的像素級標(biāo)簽才能進(jìn)行學(xué)習(xí)，很難應(yīng)用到實(shí)際場景。在本文中，我們提出了一種新穎的不需要任何標(biāo)注數(shù)據(jù)的對抗網(wǎng)絡(luò)(OP-GAN)來解決圖像形變的問題。OP-GAN主要包含一個(gè)可以在圖像遷移過程中保持圖像內(nèi)容一致性的自監(jiān)督模塊和用于圖像遷移的生成器/判別器。我們在三個(gè)公開的數(shù)據(jù)集上評估了我們提出來的對抗網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，我們的OP-GAN可以生成視覺一致的圖像，并在不同領(lǐng)域適應(yīng)場景中顯著提高語義分割的準(zhǔn)確率。

報(bào)告人：謝鑫鵬?(指導(dǎo)老師：沈琳琳)

?

報(bào)告10.?Human Interaction Learning on 3D Skeleton Point Clouds for Video Violence Recognition (基于人體3D骨架點(diǎn)云交互學(xué)習(xí)的暴力視頻識別)

摘要：本文介紹了一種通過從人體骨架點(diǎn)角度學(xué)習(xí)人之間的上下文關(guān)系來識別暴力行為的新方法。與以前的工作不同，我們首先從視頻中提取的人體骨骼序列中制定3D骨骼點(diǎn)云，然后在這些3D骨骼點(diǎn)云上進(jìn)行交互學(xué)習(xí)。我們提出了一種新穎的骨架點(diǎn)相互作用學(xué)習(xí)(SPIL)模塊來對骨架點(diǎn)之間的相互作用進(jìn)行建模。具體而言，通過構(gòu)建局部區(qū)域點(diǎn)之間的特定權(quán)重分配策略，SPIL旨在根據(jù)其特征和時(shí)空位置信息，有選擇地關(guān)注它們中最相關(guān)的部分。為了捕獲各種類型的關(guān)系信息，設(shè)計(jì)了一種多頭機(jī)制來聚合來自獨(dú)立頭的不同特征，以共同處理點(diǎn)之間的不同類型的關(guān)系。實(shí)驗(yàn)結(jié)果表明，我們的模型優(yōu)于現(xiàn)有網(wǎng)絡(luò)，并在視頻暴力數(shù)據(jù)集上取得了最新的性能。

報(bào)告人：蘇宇堃?(指導(dǎo)老師：吳慶耀)

?

報(bào)告11.?XingGAN for Person Image Generation (基于XingGAN的人體圖像生成)

摘要：我們提出了一種新穎的生成對抗網(wǎng)絡(luò)(XingGAN或CrossingGAN)用于人體圖像生成任務(wù)，即將給定人的姿勢轉(zhuǎn)換為特定的姿勢。?我們提出的Xing生成器由兩個(gè)生成分支組成，它們分別對人的外觀和形狀特征進(jìn)行建模。?此外，我們還提出了兩個(gè)新穎的模塊，它們可以有效地以交叉的方式轉(zhuǎn)移和更新形狀和外觀特征，以此來提高對方。這個(gè)想法是任何其他現(xiàn)有的基于GAN的圖像生成工作都沒有考慮的。?在兩個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集(即Market-1501和DeepFashion)上進(jìn)行的廣泛實(shí)驗(yàn)表明，我們提出的XingGAN在客觀的定量評分和主觀的視覺真實(shí)性方面都要優(yōu)于目前最好的方法。

報(bào)告人：唐浩?(指導(dǎo)老師：Philip H.S. Torr、Nicu Sebe)

代碼鏈接：https://github.com/Ha0Tang/XingGAN

論文鏈接：https://arxiv.org/abs/2007.09278

?

報(bào)告12.?Generative Low-bitwidth Data Free Quantization (基于生成器的低比特?zé)o數(shù)據(jù)量化)

摘要：神經(jīng)網(wǎng)絡(luò)量化是壓縮深度模型并提升其執(zhí)行效率的有效途徑之一，使它們可以被部署于移動(dòng)/嵌入式設(shè)備上。為獲得更好的性能，現(xiàn)有的量化方法需要使用原始數(shù)據(jù)進(jìn)行校準(zhǔn)或微調(diào)。但是，由于許多實(shí)際場景中的機(jī)密或隱私原因，我們可能無法獲取原始數(shù)據(jù)，導(dǎo)致現(xiàn)有的量化方法不適用。此外，由于缺少原始數(shù)據(jù)，我們難以使用生成對抗網(wǎng)絡(luò)(GAN)生成數(shù)據(jù)。盡管全精度模型可能包含豐富的數(shù)據(jù)信息，但利用這些信息來恢復(fù)原始數(shù)據(jù)或生成新的有意義的數(shù)據(jù)是困難的。在本文中，我們研究了名為“基于生成器的低比特?zé)o數(shù)據(jù)量化(GDFQ)”的簡單有效的方法以消除數(shù)據(jù)依賴。具體來說，我們提出了一種知識匹配生成器，可通過利用預(yù)訓(xùn)練模型中的分類邊界知識和分布信息生成有意義的假數(shù)據(jù)。借助生成的數(shù)據(jù)，我們可以從預(yù)訓(xùn)練模型中學(xué)習(xí)知識以對模型進(jìn)行量化。三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了我們方法的有效性。值得一提的是，我們的方法在4比特量化上的精度比現(xiàn)有的無數(shù)據(jù)量化方法更高。

報(bào)告人：許守愷?(指導(dǎo)老師：譚明奎)

代碼鏈接：https://github.com/xushoukai/GDFQ

論文鏈接：https://arxiv.org/abs/2003.03603

?

報(bào)告13.?Unselfie: Translating Selfies to Neutral-pose Portraits in the Wild (自拍照轉(zhuǎn)肖像照:自然場景下的攝影視角轉(zhuǎn)換)

摘要：隨著智能手機(jī)的普及，越來越多的人開始使用手機(jī)為自己拍照，即“自拍照”。由于此類照片不需要專門的設(shè)備或第三方攝影師，因此拍攝方便。但是，在自拍照中，諸如人體手臂長度之類的約束通常會使身體姿態(tài)看起來不自然。為了解決這個(gè)問題，我們提出了一種新穎的攝影視角轉(zhuǎn)換，可以將自拍照自動(dòng)轉(zhuǎn)換為中性姿態(tài)的肖像照。為了實(shí)現(xiàn)這一目標(biāo)，我們首先收集未配對的數(shù)據(jù)集，并介紹一種基于配對數(shù)據(jù)仿真的自學(xué)習(xí)方法。然后，為了將自拍照轉(zhuǎn)為肖像照，我們提出了一個(gè)新的三階段方法：1)?匹配中性目標(biāo)姿態(tài)，2)?進(jìn)行人體紋理補(bǔ)全，3)?優(yōu)化人體細(xì)節(jié)，補(bǔ)全背景，并將人體與背景融合。為了獲取合適的中性目標(biāo)姿態(tài)，我們提出了一種新穎的最近鄰姿態(tài)搜索模塊。該模塊使人體姿態(tài)變換任務(wù)更加容易，并且能夠生成多個(gè)中性姿態(tài)結(jié)果，用戶可以在其中選擇自己喜歡的最佳姿態(tài)。定性和定量的評估表明我們的方法優(yōu)于其他基準(zhǔn)方法。

報(bào)告人：馬里千?(指導(dǎo)老師：呂婧琬、Alexei A. Efros)

?

8月16日會議

論文1：S2DNAS：通過神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索轉(zhuǎn)換靜態(tài)CNN模型實(shí)現(xiàn)動(dòng)態(tài)推理

報(bào)告人：袁之航（北京大學(xué)博士生）

摘要： 最近，動(dòng)態(tài)推理作為一種有前途的降低深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）計(jì)算成本的方法被提出。與靜態(tài)方法(如權(quán)重修剪)相比，動(dòng)態(tài)推理根據(jù)每個(gè)輸入樣本自適應(yīng)地調(diào)整推理過程，可以在保持模型整體性能的前提下，大大降低 "容易"樣本的計(jì)算成本。在本文中，我們引入了一個(gè)通用框架，S2DNAS，它可以通過神經(jīng)架構(gòu)搜索來改造各種靜態(tài)CNN模型以便支持動(dòng)態(tài)推理。為此，基于給定的CNN模型，我們首先生成一個(gè)CNN架構(gòu)空間，其中每個(gè)架構(gòu)都是由給定模型使用一些預(yù)定義的變換生成的多級CNN。然后我們提出一種基于強(qiáng)化學(xué)習(xí)的方法，在生成的空間中自動(dòng)搜索最優(yōu)的CNN架構(gòu)。最后，利用搜索到的多階段網(wǎng)絡(luò)，我們可以通過自適應(yīng)地選擇一個(gè)階段對每個(gè)樣本進(jìn)行評估來進(jìn)行動(dòng)態(tài)推理。與以往在推理中引入不規(guī)則計(jì)算或復(fù)雜控制器或從頭開始重新設(shè)計(jì)CNN模型的工作不同，我們的方法可以通用于大多數(shù)流行的CNN架構(gòu)，并且搜索到的動(dòng)態(tài)網(wǎng)絡(luò)可以直接利用現(xiàn)有的深度學(xué)習(xí)框架工作部署在各種硬件設(shè)備中。

論文鏈接：https://arxiv.org/abs/1911.07033

?

論文2：TF-NAS：再論時(shí)延約束下可微神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索中的三種自由度

報(bào)告人：胡一博（京東研究員）

摘要： 賦予機(jī)器人類水平的學(xué)習(xí)設(shè)計(jì)能力，使之能夠自主地感知環(huán)境并設(shè)計(jì)滿足各種約束需求的計(jì)算模型是機(jī)器學(xué)習(xí)領(lǐng)域的前沿方向之一。該論文從算子、深度和寬度三個(gè)自由度重新思考了當(dāng)前主流的可微分網(wǎng)絡(luò)架構(gòu)搜索算法，通過大量實(shí)驗(yàn)分析與驗(yàn)證，提出一種新的網(wǎng)絡(luò)架構(gòu)自動(dòng)搜索方法，從而穩(wěn)定高效地從龐大的架構(gòu)空間中搜索到高準(zhǔn)確性的網(wǎng)絡(luò)架構(gòu)，同時(shí)嚴(yán)格滿足時(shí)延約束。通過簡單巧妙的設(shè)計(jì)，該方法能有效地緩解可微分搜索中算子崩潰、架構(gòu)冗余、無法滿足精準(zhǔn)資源約束的問題。在使用單張Titan RTX GPU的情況下，該方法在ImageNet上僅用1.8天便搜索到76.9% Top-1準(zhǔn)確性的網(wǎng)絡(luò)架構(gòu)，在準(zhǔn)確性和推斷時(shí)延上均超越Google的EfficientNet-B0。

論文鏈接：https://alfredxiangwu.github.io/papers/hu2020eccv.pdf

代碼鏈接：https://github.com/AberHu/TF-NAS（暫未公布）

?

論文3：一種用于基于預(yù)測器的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的通用圖神經(jīng)網(wǎng)絡(luò)編碼方案

報(bào)告人：寧雪妃（清華大學(xué)博士生）

摘要： 本工作提出了一種新型的基于圖的神經(jīng)架構(gòu)編碼方案(GATES)，以改進(jìn)基于預(yù)測器的神經(jīng)架構(gòu)搜索模型。具體來說，GATES與現(xiàn)有的基于圖的方案不同，將運(yùn)算建模為傳播信息的變換，模擬了神經(jīng)架構(gòu)的實(shí)際數(shù)據(jù)處理。GATES對神經(jīng)架構(gòu)的建模比較合理，可以從 "節(jié)點(diǎn)上的操作 "和 "邊緣上的操作 "兩個(gè)單元搜索空間中一致編碼架構(gòu)。在各種搜索空間上的實(shí)驗(yàn)結(jié)果證實(shí)了GATES在改進(jìn)性能預(yù)測器方面的有效性。此外，配備改進(jìn)后的性能預(yù)測器之后，基于預(yù)測器的神經(jīng)架構(gòu)搜索（NAS）流的樣本效率得到提升。

論文鏈接：https://arxiv.org/abs/2004.01899

?

論文4：通過條件生成對抗網(wǎng)絡(luò)進(jìn)行多模態(tài)形狀補(bǔ)全

報(bào)告人：吳潤迪（北京大學(xué)圖靈班）

摘要： 幾種用于填補(bǔ)形狀中缺失的區(qū)域的方法已經(jīng)被提出。但是，這些方法只用單一的輸出來完成缺失形狀，忽略了推理缺失幾何形狀時(shí)的模糊性。因此，我們提出了多模態(tài)形狀補(bǔ)全問題，即通過學(xué)習(xí)一對多的映射，尋求用多個(gè)輸出完成缺失形狀。我們開發(fā)了第一個(gè)多模態(tài)形狀補(bǔ)全方法，它通過條件生成建模來完成局部形狀，而不需要配對的訓(xùn)練數(shù)據(jù)。我們的方法通過將補(bǔ)全的條件設(shè)定在學(xué)習(xí)到的可能結(jié)果的多模態(tài)分布上，從而提煉出模糊性。我們在多個(gè)包含不同形狀缺失的數(shù)據(jù)集上對該方法進(jìn)行了廣泛的評估，并在幾個(gè)基線方法和我們方法的變體之間進(jìn)行了定性和定量的比較，證明了我們的方法在完成形狀補(bǔ)全的多樣性和質(zhì)量方面的優(yōu)點(diǎn)。

論文鏈接：https://arxiv.org/abs/2003.07717

代碼鏈接：https://github.com/ChrisWu1997/Multimodal-Shape-Completion

?

論文5：CPGAN：用于文本到圖像合成的全譜內(nèi)容分詞生成對抗網(wǎng)絡(luò)

報(bào)告人：梁家棟（北航博士生）

摘要： 文本到圖像合成的典型方法是尋求設(shè)計(jì)有效的生成架構(gòu)來直接模擬文本到圖像的映射。由于模態(tài)鴻溝，這是相當(dāng)艱巨的任務(wù)。在本文中，我們規(guī)避了這一問題，重點(diǎn)對輸入文本和合成圖像的內(nèi)容進(jìn)行徹底解析，在語義層面上對文本到圖像的一致性進(jìn)行建模。特別是在文本編碼過程中，我們設(shè)計(jì)了一種記憶結(jié)構(gòu)，通過探索詞匯中的每個(gè)詞與其在相關(guān)圖像中的各種視覺語境之間的語義對應(yīng)關(guān)系來解析文本內(nèi)容。同時(shí)對合成的圖像進(jìn)行解析，以對象感知的方式學(xué)習(xí)其語義。此外，我們還定制了一個(gè)條件判別器來模擬單詞和圖像子區(qū)域之間的細(xì)粒度相關(guān)性，以推動(dòng)文本-圖像的語義對齊。在COCO數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明，我們的模型顯著提升了性能（從35.69到52.73的Inception Score）。

論文鏈接：https://arxiv.org/abs/1912.08562

?

論文6：利用對抗一致性損失函數(shù)進(jìn)行未配對的圖像到圖像轉(zhuǎn)換

報(bào)告人：趙怡浩（北京大學(xué)本科生）

摘要： 未配對的圖像到圖像轉(zhuǎn)換是一類視覺問題，其目標(biāo)是利用未配對的訓(xùn)練數(shù)據(jù)找到不同圖像之間的映射。周期一致性損失是此類問題中廣泛使用的約束條件。然而由于嚴(yán)格的像素級約束，它不能進(jìn)行形狀變化、去除大物體或忽略不相關(guān)的紋理。在本文中，我們提出了一種用于圖像到圖像翻譯的新型對抗性一致性損失。這種損失不要求被轉(zhuǎn)換的圖像恢復(fù)為特定的源圖像，但可以鼓勵(lì)被轉(zhuǎn)換的圖像保留源圖像的重要特征，并克服上述周期一致性損失的缺點(diǎn)。我們的方法在三個(gè)具有挑戰(zhàn)性的任務(wù)上取得了最先進(jìn)的結(jié)果：眼鏡去除、男性到女性的轉(zhuǎn)換和自拍到動(dòng)漫的轉(zhuǎn)換。

論文鏈接：https://arxiv.org/abs/2003.04858

?

論文7：雙重對抗網(wǎng)絡(luò)：向真實(shí)世界的噪音去除和生成邁進(jìn)

報(bào)告人：岳宗勝（西安交通大學(xué)博士生）

摘要： 現(xiàn)實(shí)世界的圖像噪聲去除是計(jì)算機(jī)視覺中一項(xiàng)長期存在而又極具挑戰(zhàn)性的任務(wù)。在這項(xiàng)工作中，我們提出了一個(gè)新穎的統(tǒng)一框架，同時(shí)處理噪聲去除和噪聲生成任務(wù)。在傳統(tǒng)的MAP框架中，我們提出的方法不是僅僅推斷以觀察到的噪聲圖像為條件的潛在干凈圖像的后驗(yàn)分布，而是學(xué)習(xí)干凈-噪聲圖像對的聯(lián)合分布。具體來說，我們用兩種不同的因子化形式來逼近聯(lián)合分布，可以將其表述為一個(gè)將噪聲圖像映射到干凈圖像的去噪器映射和一個(gè)將干凈圖像映射到噪聲圖像的生成器。學(xué)習(xí)到的聯(lián)合分布隱含了噪聲圖像和干凈圖像之間的所有信息，避免了傳統(tǒng)的手動(dòng)設(shè)計(jì)圖像先驗(yàn)和噪聲假設(shè)的必要性。此外，我們的去噪器的性能可以通過增加原始訓(xùn)練數(shù)據(jù)集與學(xué)習(xí)生成器來進(jìn)一步提高。此外，我們提出了兩個(gè)指標(biāo)來評估生成的噪聲圖像的質(zhì)量，據(jù)我們所知，這種指標(biāo)是首次沿著這個(gè)研究路線提出的。我們已經(jīng)進(jìn)行了大量的實(shí)驗(yàn)，以證明我們的方法在實(shí)際的噪聲去除和生成任務(wù)中都優(yōu)于現(xiàn)有的方法。

論文鏈接：https://arxiv.org/abs/2007.05946

代碼鏈接：https://github.com/zsyOAOA/DANet

?

論文8：TuiGAN：通過兩張未配對的圖像學(xué)習(xí)多用途的圖像到圖像轉(zhuǎn)換

報(bào)告人：林劍新（中國科學(xué)技術(shù)大學(xué)博士生）

摘要： 無監(jiān)督的圖像到圖像轉(zhuǎn)換(UI2I)任務(wù)處理的是學(xué)習(xí)兩個(gè)領(lǐng)域之間沒有配對圖像的映射。雖然現(xiàn)有的UI2I方法通常需要許多來自不同域的未配對圖像進(jìn)行訓(xùn)練，但有許多場景下的訓(xùn)練數(shù)據(jù)相當(dāng)有限。在本文中，我們認(rèn)為即使每個(gè)域都只包含一張圖像，UI2I仍然可以實(shí)現(xiàn)。為此我們提出了TuiGAN，一個(gè)只在兩張未配對的圖像上進(jìn)行訓(xùn)練的生成模型，相當(dāng)于單次無監(jiān)督學(xué)習(xí)。通過TuiGAN，圖像以粗到細(xì)的方式進(jìn)行轉(zhuǎn)換，生成的圖像從全局結(jié)構(gòu)逐漸細(xì)化到局部細(xì)節(jié)。我們進(jìn)行了大量的實(shí)驗(yàn)來驗(yàn)證我們的多功能方法可以在各種UI2I任務(wù)上優(yōu)于強(qiáng)基線方法。此外，TuiGAN能夠?qū)崿F(xiàn)與最先進(jìn)的UI2I模型相媲美的性能，而這些模型都是用足夠的數(shù)據(jù)訓(xùn)練出來的。

論文鏈接：https://arxiv.org/abs/2004.04634

代碼鏈接：https://github.com/linjx-ustc1106/TuiGAN-PyTorch

?

論文9：面向小樣本語義分割的基于局部感知原型網(wǎng)絡(luò)

報(bào)告人：劉永飛（上?？萍即髮W(xué)博士生）

摘要： 小樣本語義分割的目的是只用幾個(gè)帶標(biāo)注的例子學(xué)習(xí)分割新的對象類，這在現(xiàn)實(shí)世界中有廣泛的應(yīng)用?，F(xiàn)有的大多數(shù)方法要么專注于單方面小樣本分割的限制性設(shè)置，要么存在著對象區(qū)域覆蓋不完全的問題。在本文中，我們提出了一種新型的基于原型表示法的小樣本語義分割框架。我們的關(guān)鍵思想是將全局類表示分解為一組局部感知原型，能夠捕獲多樣化和細(xì)粒度的對象特征。此外，我們還提出利用未標(biāo)記的數(shù)據(jù)來豐富我們的局部感知原型，從而對語義對象的類內(nèi)變化進(jìn)行更好的建模。我們開發(fā)了一種新型的圖神經(jīng)網(wǎng)絡(luò)模型來生成和增強(qiáng)所提出的基于已標(biāo)記和未標(biāo)記圖像的局部感知原型。在兩個(gè)基準(zhǔn)上進(jìn)行的廣泛實(shí)驗(yàn)評估表明，我們的方法相比于現(xiàn)有技術(shù)有相當(dāng)大的優(yōu)勢。

論文鏈接：https://arxiv.org/abs/2007.06309

代碼鏈接：https://github.com/Xiangyi1996/PPNet-PyTorch（暫未公布）

?

論文10：面向語義分割的類動(dòng)態(tài)圖卷積

報(bào)告人：胡含哲（北京大學(xué)碩士生）

摘要： 通過擴(kuò)張卷積、金字塔池或自注意力機(jī)制，以局部或全局的方式利用上下文信息，在最近語義分割方面的工作中取得了很大的進(jìn)展。為了避免前人工作中潛在的誤導(dǎo)性的上下文信息聚合，我們提出了一個(gè)類動(dòng)態(tài)圖卷積（CDGC）模塊來自適應(yīng)傳播信息。圖推理是在同一類的像素之間進(jìn)行的。在提出的CDGC模塊的基礎(chǔ)上，我們進(jìn)一步介紹了類動(dòng)態(tài)圖卷積網(wǎng)絡(luò)(CDGCNet)，它由CDGC模塊和基本分割網(wǎng)絡(luò)兩大部分組成，形成了由粗到細(xì)的范式。具體來說，CDGC模塊將粗分割結(jié)果作為類掩碼，提取節(jié)點(diǎn)特征以進(jìn)行圖構(gòu)建，并對構(gòu)建的圖進(jìn)行動(dòng)態(tài)圖卷積，學(xué)習(xí)特征聚合和權(quán)重分配。然后將提煉的特征和原始特征進(jìn)行融合，得到最終的預(yù)測結(jié)果。我們在Cityscapes、PASCAL VOC 2012和COCO Stuff等三個(gè)流行的語義分割基準(zhǔn)上進(jìn)行了大量的實(shí)驗(yàn)，都達(dá)到了最先進(jìn)的性能。

論文鏈接：https://arxiv.org/abs/2007.09690

?

論文11：通過解耦的主體和邊緣監(jiān)督改進(jìn)語義分割

報(bào)告人：李祥泰（北京大學(xué)博士生）

摘要： 現(xiàn)有的語義分割方法要么旨在通過建模全局上下文來提高對象的內(nèi)在一致性，要么通過多尺度特征融合來細(xì)化對象沿其邊界的細(xì)節(jié)。在本文中，提出了一種新的語義分割范式。我們的見解是，吸引人的語義分割性能需要明確建模對象和邊緣，他們對應(yīng)圖像的高頻和低頻。為此，我們首先通過學(xué)習(xí)流場對圖像特征進(jìn)行扭曲，使對象部分更加一致。在解耦監(jiān)督下，通過顯式采樣不同部分（主體或邊緣）的像素，進(jìn)一步優(yōu)化得到的主體特征和殘余邊緣特征。我們表明，所提出的有不同的基線或骨干網(wǎng)絡(luò)的框架可以帶來更好的對象內(nèi)部一致性和對象邊界。在包括Cityscapes、CamVid、KIITI和BDD在內(nèi)的四個(gè)主要道路場景語義分割基準(zhǔn)上進(jìn)行的大量實(shí)驗(yàn)表明，在保留推理高效率性的同時(shí)，我們提出的方法建立了新的技術(shù)狀態(tài)。特別是，我們在Cityscape上僅用精細(xì)注釋的數(shù)據(jù)就實(shí)現(xiàn)了83.7mIoU%。我們提供了代碼和模型，以促進(jìn)任何進(jìn)一步的研究(https://github.com/lxtGH/DecoupleSegNets）。

論文鏈接：https://arxiv.org/abs/2007.10035

代碼鏈接：https://github.com/lxtGH/DecoupleSegNets

?

論文12：EfficientFCN:面向語義的整體引導(dǎo)解碼器

報(bào)告人：劉建博（香港中文大學(xué)博士生）

摘要： 對于語義分割來說性能和效率都很重要。目前最先進(jìn)的語義分割算法大多基于擴(kuò)張全卷積網(wǎng)絡(luò)(dilatedFCN)，在骨干網(wǎng)絡(luò)中采用擴(kuò)張卷積來提取高分辨率的特征圖，以實(shí)現(xiàn)高性能的分割工作。然而，由于在高分辨率特征圖上進(jìn)行了許多卷積操作，這種基于dilatedFCN的方法導(dǎo)致了較大的計(jì)算復(fù)雜性和內(nèi)存消耗。為了平衡性能和效率，也存在編碼器-解碼器結(jié)構(gòu)，通過將編碼器的多級特征圖進(jìn)行組合，逐漸恢復(fù)空間信息。然而，現(xiàn)有的編碼器-解碼器方法的性能與基于dilatedFCN的方法相差甚遠(yuǎn)。在本文中，我們提出了EfficientFCN，其骨干是一個(gè)普通的ImageNet預(yù)訓(xùn)練網(wǎng)絡(luò)。引入了一種整體引導(dǎo)的解碼器，通過編碼器的多尺度特征來獲得高分辨率的語義豐富的特征圖。利用編碼器高低層次的特征，解碼任務(wù)被轉(zhuǎn)換為新型的碼本生成和碼字匯編任務(wù)。這樣的框架實(shí)現(xiàn)了與現(xiàn)有方法相當(dāng)甚至更好的性能，且計(jì)算成本僅為現(xiàn)有方法的1/3。在PASCAL Context、PASCAL VOC、ADE20K上進(jìn)行的大量實(shí)驗(yàn)證實(shí)了所提出的EfficientFCN的有效性。

論文鏈接：

?

論文13：Self6D：自監(jiān)督單目6D物體姿勢估計(jì)

報(bào)告人：王谷（清華大學(xué)博士生）

摘要： 6D物體姿態(tài)估計(jì)是計(jì)算機(jī)視覺中的一個(gè)基本問題。卷積神經(jīng)網(wǎng)絡(luò)（CNNs）最近被證明即便是從單目圖像，也能夠預(yù)測出可靠的6D姿勢估計(jì)。然而，CNNs被認(rèn)為是非常數(shù)據(jù)驅(qū)動(dòng)的，而且獲取足夠的注釋往往是非常耗時(shí)耗力的。為了克服這一缺點(diǎn)，我們提出了通過自我監(jiān)督學(xué)習(xí)的方式進(jìn)行單目6D姿勢估計(jì)的想法，消除了對真實(shí)注釋的需求。在用合成RGB數(shù)據(jù)對我們提出的網(wǎng)絡(luò)進(jìn)行完全監(jiān)督訓(xùn)練之后，我們利用最近在神經(jīng)渲染方面取得的進(jìn)展，在未注釋的真實(shí)RGB-D數(shù)據(jù)上進(jìn)一步對模型進(jìn)行自我監(jiān)督，以尋求視覺和幾何上的最佳排列。廣泛的評估表明，我們提出的自我監(jiān)督能夠顯著增強(qiáng)模型的原始性能，優(yōu)于所有其他依賴合成數(shù)據(jù)或采用域適應(yīng)領(lǐng)域復(fù)雜技術(shù)的方法。

論文鏈接：https://arxiv.org/abs/2004.06468

?

論文14：CysAs: 學(xué)習(xí)可重新識別描述的自我監(jiān)督關(guān)聯(lián)周期

報(bào)告人：王重道（清華大學(xué)博士生）

摘要： 本文提出了一種針對人員重識別（re-ID）問題的自監(jiān)督學(xué)習(xí)方法，現(xiàn)有的無監(jiān)督方法通常依賴于偽標(biāo)簽，例如來自視頻軌跡或視頻聚類的偽標(biāo)簽。使用偽標(biāo)簽的一個(gè)潛在缺點(diǎn)是，錯(cuò)誤可能會累積，對于估計(jì)偽ID的數(shù)量形成挑戰(zhàn)。我們引入了一種不同的無監(jiān)督方法，允許我們不用求助于偽標(biāo)簽，從原始視頻中學(xué)習(xí)行人嵌入。我們的目標(biāo)是構(gòu)建一個(gè)匹配人員重識別對象的自監(jiān)督前置任務(wù)。受多對象跟蹤中數(shù)據(jù)關(guān)聯(lián)概念的啟發(fā)，我們提出了關(guān)聯(lián)周期任務(wù)（CycAs）：在一對視頻幀向前和向后之間執(zhí)行數(shù)據(jù)關(guān)聯(lián)后，一個(gè)行人實(shí)例應(yīng)該與自己關(guān)聯(lián)。為了完成這個(gè)目標(biāo)，模型必須學(xué)習(xí)一個(gè)有意義的表示，能夠很好地描述幀對實(shí)例之間的對應(yīng)關(guān)系。我們將離散關(guān)聯(lián)過程調(diào)整為可區(qū)分的形式，使得端到端訓(xùn)練可行。實(shí)驗(yàn)從兩個(gè)方面進(jìn)行：首先，我們在七個(gè)基準(zhǔn)上將我們的方法與現(xiàn)有的無監(jiān)督重識別方法進(jìn)行比較，證明了CycAs的優(yōu)越性。然后，為了進(jìn)一步驗(yàn)證CycAs在實(shí)際應(yīng)用中的實(shí)用價(jià)值，我們對自采集的視頻進(jìn)行了訓(xùn)練，并報(bào)告了在標(biāo)準(zhǔn)測試集上的良好表現(xiàn)。

論文鏈接：https://arxiv.org/abs/2007.07577

?

論文15：帶增強(qiáng)錨點(diǎn)的標(biāo)簽傳播：一種用于無監(jiān)督域適應(yīng)的簡單半監(jiān)督學(xué)習(xí)基線

報(bào)告人：張亞斌（華南理工大學(xué)碩士生）

摘要： 受無監(jiān)督域適應(yīng)（UDA）和半監(jiān)督學(xué)習(xí)（SSL）之間的問題關(guān)聯(lián)性的驅(qū)動(dòng)，許多最先進(jìn)的UDA方法采用SSL原理（如聚類假設(shè)）作為其學(xué)習(xí)成分。然而，它們往往忽略了UDA的域遷移性質(zhì)。在這項(xiàng)工作中，我們進(jìn)一步地研究SSL技術(shù)在UDA問題上的適當(dāng)拓展。為了更好地實(shí)現(xiàn)將真標(biāo)簽傳播到無標(biāo)簽實(shí)例中，以標(biāo)簽傳播(LP)算法為例，我們分析了在UDA中采用LP的挑戰(zhàn)，并從理論上分析了親和圖/矩陣構(gòu)建的條件。我們的分析提出了一種新的帶增強(qiáng)錨點(diǎn)的標(biāo)簽傳播 (A2LP)算法，它可以通過生成具有高置信度標(biāo)簽預(yù)測的無標(biāo)簽虛擬實(shí)例(即增強(qiáng)錨點(diǎn))來潛在地改善LP。為了使所提出的A2LP對UDA有用，我們提出了生成這種虛擬實(shí)例的經(jīng)驗(yàn)性方案。所提出的方案還通過交替使用A2LP的偽標(biāo)簽和域不變特征學(xué)習(xí)來應(yīng)對UDA的域遷移挑戰(zhàn)。實(shí)驗(yàn)表明，這樣一個(gè)簡單的SSL拓展相比具有代表性的UDA方法的域不變特征學(xué)習(xí)有所改進(jìn)，并且可以在基準(zhǔn)UDA數(shù)據(jù)集上賦予兩個(gè)最先進(jìn)的方法。我們的結(jié)果表明，SSL技術(shù)在UDA問題上具有進(jìn)一步研究的價(jià)值。

論文鏈接：https://arxiv.org/abs/2007.07695

代碼鏈接：https://github.com/YBZh/Label-Propagation-with-Augmented-Anchors

?

論文16：用于開放集半監(jiān)督學(xué)習(xí)的多任務(wù)課程框架

報(bào)告人：郁青（東京大學(xué)博士生）

摘要： 當(dāng)只有有限的標(biāo)記數(shù)據(jù)時(shí)，為了利用未標(biāo)記的數(shù)據(jù)來訓(xùn)練強(qiáng)大的模型，半監(jiān)督學(xué)習(xí)(SSL)已經(jīng)被提出來。雖然現(xiàn)有的SSL方法假設(shè)標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)中的樣本共享其樣本的類，但我們解決了一個(gè)更復(fù)雜的新型場景，命名為開放集SSL，其中無標(biāo)簽數(shù)據(jù)中包含了分布外（OOD）樣本。我們沒有分別訓(xùn)練OOD檢測器和SSL，而是提出了一個(gè)多任務(wù)課程學(xué)習(xí)框架。首先，為了檢測未標(biāo)記數(shù)據(jù)中的OOD樣本，我們估計(jì)樣本屬于OOD的概率。我們采用聯(lián)合優(yōu)化框架，交替更新網(wǎng)絡(luò)參數(shù)和OOD得分。同時(shí)，為了實(shí)現(xiàn)對分布內(nèi)（ID）數(shù)據(jù)的高性能分類，我們在無標(biāo)簽數(shù)據(jù)中選取OOD分?jǐn)?shù)較小的ID樣本，并將這些數(shù)據(jù)與標(biāo)簽數(shù)據(jù)一起用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，以半監(jiān)督的方式對ID樣本進(jìn)行分類。我們進(jìn)行了多次實(shí)驗(yàn)，我們的方法成功消除了OOD樣本的影響，達(dá)到了最先進(jìn)的結(jié)果。

論文鏈接：https://arxiv.org/abs/2007.11330

?

?

04 往期回顧

極市平臺專注分享計(jì)算機(jī)視覺前沿資訊和技術(shù)干貨，特邀請行業(yè)內(nèi)專業(yè)牛人嘉賓為大家分享視覺領(lǐng)域內(nèi)的干貨及經(jīng)驗(yàn)，目前已成功舉辦66期線上分享。