?由將門-TechBeat人工智能社區(qū)所主辦的CVPR 2021 群星閃耀·云際會(huì)將攜手51位分享嘉賓，10場(chǎng)論文解讀Talk，5天10場(chǎng)在線交流活動(dòng)，云端實(shí)時(shí)開(kāi)講，讓你建立真正屬于自己的能量級(jí)學(xué)術(shù)網(wǎng)絡(luò)，同時(shí)一次性解鎖學(xué)術(shù)的101種姿勢(shì)。

?北京時(shí)間6月16日(周三)晚8點(diǎn)，第④場(chǎng)——香港中文大學(xué)MMLab（Multimedia Laboratory）的論文解讀Talk已經(jīng)準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！MMLab的博士生陳焯杰、呂照陽(yáng)、沈宇軍、吳桐、徐英豪、周航、祝新革分享了他們?cè)贑VPR 2021的工作。

? 點(diǎn)擊【https://datayi.cn/w/a9a6JJMR】，免費(fèi)收看Talk~

Talk·信息

分享人：香港中文大學(xué)MMLab（Multimedia Laboratory）

時(shí)間：北京時(shí)間?6月16日 (周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

??點(diǎn)擊【https://datayi.cn/w/a9a6JJMR】，免費(fèi)收看Talk~

直播交流活動(dòng)·報(bào)名通道

團(tuán)隊(duì)介紹

香港中文大學(xué)MMLab（Multimedia Laboratory）

陳愷

商湯科技研究總監(jiān)、開(kāi)源算法體系部門負(fù)責(zé)人

陳愷，商湯科技研究總監(jiān)，本科畢業(yè)于清華大學(xué)，2019 年在香港中文大學(xué)獲得博士學(xué)位。在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議和期刊上發(fā)表十余篇論文，谷歌學(xué)術(shù)引用超過(guò) 1500 次，并兩次獲得目標(biāo)檢測(cè)領(lǐng)域國(guó)際權(quán)威的學(xué)術(shù)競(jìng)賽 COCO 比賽冠軍。所負(fù)責(zé)的 OpenMMLab 開(kāi)源項(xiàng)目在 GitHub 上獲得了超過(guò) 35000 star， 是深度學(xué)習(xí)時(shí)代極具影響力的計(jì)算機(jī)視覺(jué)開(kāi)源算法體系，在學(xué)術(shù)界和工業(yè)界產(chǎn)生了廣泛影響。

個(gè)人主頁(yè)：http://chenkai.site

①

GLEAN:?

基于隱式生成庫(kù)的高倍率圖像超分辨率

在這項(xiàng)工作中，我們提出一個(gè)全新的框架使用預(yù)訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)（GAN）來(lái)提高高倍率圖像超分辨率的表現(xiàn)。我們的方法GLEAN通過(guò)使用預(yù)訓(xùn)練的生成網(wǎng)絡(luò)作為latent bank來(lái)提供自然圖片先驗(yàn)，并利用encoder-bank-decoder的結(jié)構(gòu)有效地將特征融合。與現(xiàn)有方法相比，GLEAN的輸出圖像在保真度和質(zhì)量方面都有顯著的改進(jìn)。

論文鏈接：https://arxiv.org/abs/2012.00739

代碼鏈接：https://github.com/open-mmlab/mmediting

陳焯杰 |?南洋理工大學(xué)在讀博士生

陳焯杰，南洋理工大學(xué)S-Lab和MMLab@NTU三年級(jí)博士生，導(dǎo)師是呂健勤教授。在頂級(jí)會(huì)議上發(fā)表過(guò)五篇論文，在NTIRE視頻復(fù)原比賽中共獲得七個(gè)冠軍。當(dāng)前主要研究興趣為圖像和視頻復(fù)原，主要包括超分辨率和去模糊等。

個(gè)人主頁(yè)：https://ckkelvinchan.github.io/

②

評(píng)估與提高神經(jīng)網(wǎng)絡(luò)可驗(yàn)證的魯棒性

本文研究如何評(píng)估與提高神經(jīng)網(wǎng)絡(luò)可驗(yàn)證的魯棒性。目前有一些方法可以評(píng)估神經(jīng)網(wǎng)絡(luò)的可驗(yàn)證的魯棒性，即當(dāng)輸入在某個(gè)范圍內(nèi)擾動(dòng)時(shí)，它們可以驗(yàn)證神經(jīng)網(wǎng)絡(luò)是否總能給出正確的預(yù)測(cè)。我們研究了幾種魯棒性的驗(yàn)證方法，證明了這幾種方法的優(yōu)劣。同時(shí)我們改進(jìn)了其中一種代表性的方法，CROWN，使得它可以用于驗(yàn)證更大的神經(jīng)網(wǎng)絡(luò)。這些驗(yàn)證方法也可以用來(lái)訓(xùn)練魯棒的神經(jīng)網(wǎng)絡(luò)，但是我們發(fā)現(xiàn)之前的訓(xùn)練方法會(huì)產(chǎn)生大量死掉的神經(jīng)元，進(jìn)而影響網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程和表達(dá)能力。為了解決這個(gè)問(wèn)題，我們提出了一種新的激活函數(shù)，參數(shù)化的斜坡函數(shù)，它可以為神經(jīng)元的狀態(tài)提供更大的多樣性。我們進(jìn)行了大量實(shí)驗(yàn)，訓(xùn)練使用這種新的激活函數(shù)的神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)它可以取得比傳統(tǒng)ReLU激活函數(shù)更好的魯棒性。我們?cè)贛NIST,CIFAR-10和Tiny-Imagenet這些數(shù)據(jù)集上都訓(xùn)練出了至今為止擁有最好的可驗(yàn)證的魯棒性的神經(jīng)網(wǎng)絡(luò)。??

論文鏈接：https://arxiv.org/abs/2104.00447

代碼鏈接：https://github.com/ZhaoyangLyu/VerifiablyRobustNN

呂照陽(yáng) |?香港中文大學(xué)信息工程系在讀博士生呂照陽(yáng)，2018年本科畢業(yè)于西安交通大學(xué)，主修物理專業(yè)。畢業(yè)后來(lái)到香港中文大學(xué)信息工程系MMLab就讀博士，目前是博士第三年，導(dǎo)師是林達(dá)華教授。研究方向是評(píng)估和提高神經(jīng)網(wǎng)絡(luò)的魯棒性，當(dāng)輸入在允許的范圍內(nèi)擾動(dòng)時(shí)，保證神經(jīng)網(wǎng)絡(luò)能夠給出正確的預(yù)測(cè)，陸續(xù)已有文章發(fā)表在ICML, AAAI, CVPR這些會(huì)議上。同時(shí)我對(duì)3D Shape Understanding也很感興趣，正在進(jìn)行點(diǎn)云生成、補(bǔ)全、降噪方面的研究。個(gè)人主頁(yè)：https://zhaoyanglyu.github.io/?

③

Closed-Form Factorization of?Latent Semantics in GANs?

生成對(duì)抗網(wǎng)絡(luò)隱空間的語(yǔ)義信息探索受到了越來(lái)越廣泛的關(guān)注。已有方法通過(guò)對(duì)大量采集樣本的統(tǒng)計(jì)信息分析，實(shí)現(xiàn)對(duì)編碼了語(yǔ)義信息的子空間的定位。本文提出了一種無(wú)監(jiān)督的語(yǔ)義信息挖掘的方法，直接對(duì)預(yù)訓(xùn)練模型的權(quán)重進(jìn)行分析，通過(guò)矩陣分解的方式，高效地找出潛在的語(yǔ)義編碼方向。

論文鏈接：https://arxiv.org/pdf/2007.06600.pdf

沈宇軍?|?香港中文大學(xué)多媒體實(shí)驗(yàn)室（MMLab）博士沈宇軍，博士畢業(yè)于香港中文大學(xué)MMLab，主要研究方向?yàn)樯赡Ｐ图捌鋺?yīng)用。在此之前，畢業(yè)于清華大學(xué)電子工程系。

個(gè)人主頁(yè)：https://shenyujun.github.io/

④

長(zhǎng)尾分布下的對(duì)抗魯棒性

本文首次將長(zhǎng)尾分布條件引入對(duì)抗魯棒性研究領(lǐng)域，對(duì)現(xiàn)有多種長(zhǎng)尾識(shí)別算法與對(duì)抗訓(xùn)練結(jié)合的策略進(jìn)行了系統(tǒng)的研究與分析，并提出了一個(gè)簡(jiǎn)潔有效的算法。不平衡條件下的魯棒性研究是一個(gè)新穎，實(shí)際又具有挑戰(zhàn)性的方向，希望能夠引起更多研究者的關(guān)注。

論文鏈接：https://arxiv.org/abs/2104.02703

代碼鏈接：https://github.com/wutong16/Adversarial_Long-Tail

吳桐?|?香港中文大學(xué)多媒體實(shí)驗(yàn)室（MMLab）在讀博士生吳桐，香港中文大學(xué)多媒體實(shí)驗(yàn)室（MMLab）在讀博士生。她的導(dǎo)師是林達(dá)華教授。本科畢業(yè)于清華大學(xué)電子工程系，于2020年獲香港政府博士生獎(jiǎng)學(xué)金（HKPFS）開(kāi)始攻讀博士學(xué)位。她的研究興趣包括長(zhǎng)尾識(shí)別、對(duì)抗魯棒性、和3D視覺(jué)。曾在ECCV，CVPR等會(huì)議中發(fā)表多篇論文。個(gè)人主頁(yè)：https://wutong16.github.io/

⑤

合成圖像中的層級(jí)性特征

生成對(duì)抗網(wǎng)絡(luò)(GANs)通過(guò)學(xué)習(xí)數(shù)據(jù)的底層分布來(lái)加強(qiáng)圖像合成的質(zhì)量。然而，從圖像生成任務(wù)中學(xué)習(xí)到的特征如何適用于其他視覺(jué)任務(wù)仍鮮有探索。在這項(xiàng)工作中，我們證明了合成圖像任務(wù)可以帶來(lái)層次化的視覺(jué)特征，并且這些特征可以很廣泛的遷移到其他視覺(jué)任務(wù)上。具體地說(shuō)，我們將預(yù)先訓(xùn)練的StyleGAN生成器作為一個(gè)學(xué)習(xí)的損失函數(shù)，并利用它的分層表示來(lái)訓(xùn)練一個(gè)層次編碼器。我們把編碼器產(chǎn)生的視覺(jué)特征稱為生成層次特征(GH-Feat)。GH-Feat 具有很強(qiáng)的可移植性，我們?cè)诤芏嗌扇蝿?wù)和識(shí)別任務(wù)上都對(duì)其性質(zhì)進(jìn)行了探索。大量的定性和定量實(shí)驗(yàn)結(jié)果證明了GH-Feat的良好性能。

論文鏈接：https://arxiv.org/pdf/2007.10379.pdf

StyleGAN:?https://arxiv.org/abs/1812.04948

InterFaceGAN:https://openaccess.thecvf.com/content_CVPR_2020/html/Shen_Interpreting_the_Latent_Space_of_GANs_for_Semantic_Face_Editing_CVPR_2020_paper.html

HiGNA:https://link.springer.com/article/10.1007/s11263-020-01429-5?

IDInvert:https://arxiv.org/pdf/2004.00049.pdf

Genforce:https://genforce.github.io/

徐英豪 |?香港中文大學(xué)MMLab在讀博士生徐英豪，香港中文大學(xué)信息工程系多媒體實(shí)驗(yàn)室(MMLab)二年級(jí)博士生，導(dǎo)師為周博磊助理教授。于2019年畢業(yè)于浙江大學(xué), 本科期間曾在UCSD和微軟亞洲研究院視覺(jué)計(jì)算組進(jìn)行科研實(shí)習(xí)。其研究興趣包括視頻理解、生成模型以及視覺(jué)感知的結(jié)構(gòu)表征。

個(gè)人主頁(yè)：https://justimyhxu.github.io/

⑥

姿態(tài)可控的語(yǔ)音驅(qū)動(dòng)說(shuō)話人臉生成

本文不使用任何人為定義的結(jié)構(gòu)信息（人臉關(guān)鍵點(diǎn)或者3D人臉模型），成功實(shí)現(xiàn)了人頭姿態(tài)可控的語(yǔ)音驅(qū)動(dòng)任意說(shuō)話人臉生成。本文的關(guān)鍵在于，隱式地在潛空間（latent space）中定義了一個(gè)12維的姿態(tài)編碼，用于頭部運(yùn)動(dòng)控制。本文相比于之前的方法，避免了關(guān)鍵點(diǎn)或者3D模型計(jì)算不準(zhǔn)確帶來(lái)的煩惱，又保持了自由度和魯棒性。實(shí)現(xiàn)了在語(yǔ)音控制準(zhǔn)確嘴型的同時(shí)，用另一段視頻控制頭部運(yùn)動(dòng)。

論文鏈接：

https://arxiv.org/abs/2104.11116

代碼鏈接：

https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS

https://zhuanlan.zhihu.com/p/367525241

周航?|?香港中文大學(xué) MMLab博士生

周航，香港中文大學(xué)多媒體實(shí)驗(yàn)室在讀博士, 師從王曉剛教授。主要研究方向?yàn)橐粢曨l跨模態(tài)的生成與操縱，是國(guó)內(nèi)視聽(tīng)感知學(xué)習(xí)（Audio-Visual Learning）領(lǐng)域年輕一代的積極推動(dòng)者。在CVPR/ECCV/ICCV/AAAI/IJCAI等會(huì)議發(fā)表10余篇論文，其中7篇為（共同）第一作者。擔(dān)任CVPR/AAAI/ICCV/NeurIPS/ICML等會(huì)議和IJCV/TASLP等期刊的審稿人，獲得CVPR2020杰出審稿人、NeurIPS2020前10% 審稿人稱號(hào)。發(fā)表于AAAI2019的Talking Face論文是基于深度學(xué)習(xí)的音頻驅(qū)動(dòng)說(shuō)話人臉領(lǐng)域最有影響力的論文之一。全部開(kāi)源工作在Github獲得1000+Star。

個(gè)人主頁(yè)：https://hangz-nju-cuhk.github.io/

⑦

基于圓柱體坐標(biāo)系和非對(duì)稱卷積的點(diǎn)云分割算法

相比于室內(nèi)點(diǎn)云，室外點(diǎn)云的范圍更大，點(diǎn)云更稀疏同時(shí)密度差異很大，針對(duì)這些特性，我們提出了圓柱體坐標(biāo)系劃分跟非對(duì)稱卷積的操作，圓柱體坐標(biāo)系劃分可以動(dòng)態(tài)的隨著距離而增大每個(gè)單元的范圍，有效的緩解點(diǎn)云稀疏和密度差異大的問(wèn)題，同時(shí)非對(duì)稱卷積可以增強(qiáng)骨干卷積的表示能力，更好的匹配駕駛場(chǎng)景下的物體分布。該方法在SemanticKITTI上取得了第一的成績(jī)。

論文鏈接：https://arxiv.org/pdf/2011.10033

代碼鏈接：https://github.com/xinge008/Cylinder3D

祝新革?|?香港中文大學(xué) 在讀博士生祝新革，CUHK博士在讀，主要研究方向是計(jì)算機(jī)視覺(jué)，包括三維視覺(jué)，環(huán)境感知等，在CVPR/ICCV/ECCV等會(huì)議上發(fā)表20余篇文章，獲得多個(gè)公開(kāi)挑戰(zhàn)賽的金牌，包括nuScenes, SemanticKITTI, Lyft等。

個(gè)人主頁(yè)：

https://xingezhu.me/aboutme.html

??點(diǎn)擊【https://datayi.cn/w/a9a6JJMR】，免費(fèi)收看Talk~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ??