“深度學(xué)習(xí)領(lǐng)域頂級會議”——國際學(xué)習(xí)表征會議ICLR?2021將在五一勞動節(jié)期間線上舉行。為了感謝勞動人民的辛勤工作，我們在假期歸來的第一個周日，特別邀請到了北京大學(xué)?ZERO Lab來組團(tuán)分享他們在ICLR 2021上的工作。

?“零”Lab？

ZERO refers to——Zeal,?Excellence,?Reliability and?Openness

ZERO Lab

▼

ZERO Lab隸屬于北京大學(xué)智能科學(xué)系，主要關(guān)注機(jī)器學(xué)習(xí)理論和算法方面的研究，目前由林宙辰教授、王奕森助理教授、多名博士后、博士生、碩士生和本科生組成。實驗室主頁：https://zero-lab-pku.github.io/

ZERO Lab常年招收機(jī)器學(xué)習(xí)方向博雅博士后，同樣常年招收博士生和本科實習(xí)生，歡迎對機(jī)器學(xué)習(xí)理論和算法感興趣的同學(xué)加入我們，一起探索未知的世界！

一圖Get活動信息

▼

長按下圖二維碼即可報名

他們都會講些啥？

①

可以保護(hù)個人隱私的不可學(xué)習(xí)樣本（Spotlight）

深度學(xué)習(xí)的成果離不開大量切開源的互聯(lián)網(wǎng)數(shù)據(jù)，但這引起了人們關(guān)于數(shù)據(jù)隱私的關(guān)注。有研究表明這些私人數(shù)據(jù)被用來訓(xùn)練模型作為商業(yè)用途。所以我們需要一種可以阻止這些數(shù)據(jù)被濫用的方法。

在這篇文章中，我們提出了一個問題：這些數(shù)據(jù)樣本可以變成不可學(xué)習(xí)的嗎？我們使用一種可以減少模型犯錯的噪聲確實可以生成不可學(xué)習(xí)的樣本。這些噪聲故意使得模型在訓(xùn)練樣本上的錯誤為0，這樣就可以騙過深度學(xué)習(xí)模型，使他們相信不需要再學(xué)習(xí)這些樣本。這種噪聲是人類不可分辨的，所以不可學(xué)習(xí)的樣本和原數(shù)據(jù)看起來是一模一樣的。我們在實驗中測試了sample-wise和class-wise 兩種形式，可以靈活的運用在廣泛的場景中，并且我們展示了在人臉識別中的應(yīng)用場景。我們的工作是對保護(hù)個人數(shù)據(jù)不被深度學(xué)習(xí)濫用的第一步。

論文鏈接：

https://openreview.net/pdf?id=iAmZUo0DxC0

代碼：

https://github.com/HanxunH/Unlearnable-Examples

②

基于通道抑制的提升模型魯棒性能的訓(xùn)練策略（Spotlight）

研究背景主要基于對抗攻擊下對于模型魯棒性的理解。通過研究發(fā)現(xiàn)，對于對抗樣本和正常樣本，非魯棒模型在激活層上表現(xiàn)出更加大幅度的激活數(shù)值差異，魯棒模型緩解了這種數(shù)值上的差異，但在通道的激活頻率上，對抗樣本仍然表現(xiàn)出較強(qiáng)的普遍激活現(xiàn)象，意味著有可能激活了非本類別相關(guān)的特征?；谝陨犀F(xiàn)象，我們提出了抑制激活通道的訓(xùn)練策略，能夠更為普適地提高現(xiàn)有方法的防御能力。

論文鏈接：

https://arxiv.org/abs/2103.08307

代碼：

https://github.com/bymavis/CAS_ICLR2021

③

憨憨模型的視角：注意力比矩陣分解好嗎？

在深度學(xué)習(xí)中高效建模全局信息被認(rèn)為是注意力機(jī)制成功的關(guān)鍵。本文對“全局信息”提供一種數(shù)學(xué)刻畫，將建模全局信息抽象為矩陣的低秩恢復(fù)問題，并基于矩陣分解及其優(yōu)化算法設(shè)計了一類半隱式模型，即憨憨模型（Hamburger）。同時，基于憨憨，我們發(fā)現(xiàn)制約隱式和半隱式模型的主要因素是病態(tài)的梯度。

因此本文設(shè)計了一種通用的one-step gradient用于相關(guān)模型的優(yōu)化，從而使得憨憨模型足以在語義分割和圖像生成中與媲美注意力機(jī)制。

論文鏈接：https://openreview.net/forum?id=1FvkSpWosOl代碼：https://github.com/Gsunshine/Enjoy-Hamburger

④

基于AdaBoost的深度圖卷積神經(jīng)網(wǎng)絡(luò)

深度圖神經(jīng)網(wǎng)絡(luò)的設(shè)計仍然是一個開放的問題，我們認(rèn)為核心的難點是如何對不同階鄰居節(jié)點信息進(jìn)行探索和利用。我們在這篇論文中通過將AdaBoost整合到圖卷積神經(jīng)網(wǎng)絡(luò)的計算中，從而設(shè)計出了一種類似于循環(huán)神經(jīng)網(wǎng)絡(luò)的深層圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并且給出了和已有圖神經(jīng)網(wǎng)絡(luò)的聯(lián)系和區(qū)別，最后我們在標(biāo)準(zhǔn)數(shù)據(jù)集上驗證了我們算法的最優(yōu)結(jié)果以及計算的有效性。

論文鏈接：

https://openreview.net/forum?id=QkRbdiiEjM

超強(qiáng)團(tuán)隊組合都有誰？

▼

01

主要研究方向：可信機(jī)器學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)、自監(jiān)督學(xué)習(xí)

王奕森，北京大學(xué)智能科學(xué)系助理教授，博士生導(dǎo)師。主要研究方向為機(jī)器學(xué)習(xí)理論和算法，包括對抗學(xué)習(xí)、圖學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等。

目前已發(fā)表人工智能領(lǐng)域頂級學(xué)術(shù)論文30余篇，包括CML、NeurIPS、ICLR、CVPR、ICCV、ECCV、AAAI、IJCAI等，多次被選為Oral或Spotlight。擔(dān)任機(jī)器學(xué)習(xí)頂級會議NeurIPS 2021領(lǐng)域主席（Area Chair），曾獲得百度獎學(xué)金（2017）和ACM中國優(yōu)秀博士論文提名獎（2019）。個人主頁：

https://yisenwang.github.io/

02

主要研究方向：對抗攻擊防御、后門攻擊防御

白楊，清華大學(xué)TBSI在讀博士生，本科畢業(yè)于清華大學(xué)電子系。研究方向為對抗攻擊和防御，深度偽造圖片檢測，后門攻擊防御等AI安全課題。她曾以第一作者的身份在ICLR、ICCV、ECCV上發(fā)表論文，曾獲得谷歌女性學(xué)者獎學(xué)金。個人主頁：https://scholar.google.com/citations?user=wBH_Q1gAAAAJ&hl=zh-CN

03

主要研究方向：可微編程、表示學(xué)習(xí)

耿正陽，北京大學(xué)ZERO Lab研究助理。研究興趣包括可微編程與表示學(xué)習(xí)，致力于研究建立可微模型的一般方法及訓(xùn)練模式，包括從數(shù)值方法角度設(shè)計的可微計算范式。

個人主頁：

https://zero-lab-pku.github.io/personwise/gengzhengyang/

04

主要研究方向：深度學(xué)習(xí)魯棒性、強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)

孫科，加拿大阿爾伯塔大學(xué)統(tǒng)計機(jī)器學(xué)習(xí)方向在讀博士生，碩士畢業(yè)于北京大學(xué)ZERO Lab。研究方向為深度學(xué)習(xí)魯棒性、強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)，他曾以第一作者的身份在AAAI, ICLR上發(fā)表論文。

個人主頁：

https://sites.google.com/view/kesun

報名通道

▼

• 活動時間：北京時間5月9日(周日) 10:00-12:00

• 活動地點：騰訊會議、B站，報名通過審核后通過微信/郵件告知活動地址

• 活動議程：

• 團(tuán)隊leader介紹整體工作

• 團(tuán)隊成員分別講解ICLR工作

• Free Q&A（想問的問題一定要在報名時寫清楚哦~）

• 活動費用：一如既往不要錢！

• 報名方式：長按下方二維碼，填寫報名表單即可報名

報名注意事項

▼

1. 請保證所填信息的真實性和準(zhǔn)確性，方便主辦方進(jìn)行審核；

2. 報名通過審核后將收到主辦方的微信/郵件/通知，請保持手機(jī)和郵箱暢通；

3. 由于報名人數(shù)較多，主辦方審核需要一定時間，請耐心等待~

關(guān)于TechBeat社區(qū)

▼

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個薈聚全球華人AI精英的成長社區(qū)。
我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。
期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ