SFFAI論壇已開(kāi)放注冊(cè)

詳情點(diǎn)擊查看：https://bbs.sffai.com/d/312

深度神經(jīng)網(wǎng)絡(luò)已被發(fā)現(xiàn)容易受到對(duì)抗性樣本的影響，即一個(gè)人眼不可見(jiàn)的擾動(dòng)會(huì)讓神經(jīng)網(wǎng)絡(luò)做出錯(cuò)誤的預(yù)測(cè)，對(duì)抗訓(xùn)練也因此被提出，通過(guò)在原始訓(xùn)練圖片中混入即時(shí)生成的對(duì)抗性樣本來(lái)提升模型的魯棒性。本期講者傅泳淦同學(xué)的工作首次發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：在隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)中，隱藏著據(jù)有天生魯棒性和準(zhǔn)確率的子網(wǎng)絡(luò)，即使沒(méi)有經(jīng)歷過(guò)對(duì)抗訓(xùn)練，它們也能夠和類似參數(shù)量且對(duì)抗訓(xùn)練后的模型達(dá)到一致的魯棒性。

講者介紹

傅泳淦，美國(guó)萊斯大學(xué)博士生，本科畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)少年班學(xué)院，現(xiàn)導(dǎo)師為Yingyan Lin教授,主要研究方向是通過(guò)協(xié)同設(shè)計(jì)AI算法(剪枝，量化，神經(jīng)網(wǎng)絡(luò)搜索，對(duì)抗訓(xùn)練)和加速器架構(gòu)，提升AI應(yīng)用(分類，超分辨，語(yǔ)音識(shí)別)的高效性和魯棒性，目前已在NeurIPS, ICML, ICLR, ICCV, MICRO等AI算法和架構(gòu)會(huì)議中發(fā)表過(guò)10+篇一作論文。

分享題目

魯棒彩票現(xiàn)象：藏在隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)中的魯棒子網(wǎng)絡(luò)

分享摘要

在隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)中，隱藏著據(jù)有天生魯棒性和準(zhǔn)確率的子網(wǎng)絡(luò)，即使沒(méi)有經(jīng)歷過(guò)對(duì)抗訓(xùn)練，它們也能夠和類似參數(shù)量且對(duì)抗訓(xùn)練后的模型達(dá)到一致的魯棒性。這個(gè)現(xiàn)象反映出對(duì)抗訓(xùn)練對(duì)于提升模型的魯棒性并不是不可或缺的，我們把這種子網(wǎng)絡(luò)叫做魯棒彩票(Robust Scratch Ticket)。為了更好的研究和應(yīng)用魯棒彩票現(xiàn)象，我們做了大量的實(shí)驗(yàn)去研究魯棒彩票的存在性和性質(zhì)，來(lái)理解神經(jīng)網(wǎng)絡(luò)魯棒性和初始化和過(guò)參數(shù)化的關(guān)系。我們進(jìn)一步發(fā)現(xiàn)了不同魯棒彩票之間較差的對(duì)抗樣本遷移性，并利用魯棒彩票構(gòu)造了一個(gè)簡(jiǎn)單有效的防御手段。我們的工作為研究神經(jīng)網(wǎng)絡(luò)彩票現(xiàn)象和魯棒性的關(guān)系提供了一個(gè)新的角度。

題目：Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

分享亮點(diǎn)

1. 我們首次發(fā)現(xiàn)了魯棒彩票的存在性，即在隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)中，隱藏著據(jù)有天生魯棒性和準(zhǔn)確率的子網(wǎng)絡(luò)；

2. 我們提出了一種通用方法來(lái)從隨機(jī)初始化網(wǎng)絡(luò)中搜索魯棒彩票，并針對(duì)魯棒彩票的存在性和其他性質(zhì)做了詳細(xì)的實(shí)驗(yàn)，來(lái)為神經(jīng)網(wǎng)絡(luò)的魯棒性和初始化、過(guò)參數(shù)化的關(guān)系提供啟發(fā)；

3. 我們發(fā)現(xiàn)了不同魯棒彩票之間較差的對(duì)抗樣本遷移性，并利用魯棒彩票構(gòu)造了一個(gè)簡(jiǎn)單有效的防御手段，來(lái)大幅增加給定神經(jīng)網(wǎng)絡(luò)的魯棒性。

直播時(shí)間

2022年3月6日（周日）20:00—21:00 線上直播

關(guān)注微信公眾號(hào)：人工智能前沿講習(xí)，對(duì)話框回復(fù)“SFFAI139”，獲取入群二維碼

人工智能前沿學(xué)生論壇 SFFAI（Student Forums on Frontiers of Artificial Intelligence）每周日舉行一期， 邀請(qǐng)一線科研人員分享、討論人工智能各個(gè)領(lǐng)域的前沿思想和最新成果，使專注于各個(gè)細(xì)分領(lǐng)域的研究者開(kāi)拓視野、觸類旁通。SFFAI 目前主要關(guān)注計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)理論等各個(gè)人工智能垂直領(lǐng)域及交叉領(lǐng)域的前沿進(jìn)展，進(jìn)行學(xué)術(shù)傳播，為初學(xué)者指明方向，也為講者塑造個(gè)人影響力。

歡迎大家關(guān)注SFFAI論壇：https://bbs.sffai.com/。