斯坦福大學(xué)馬騰宇：如何為深度模型找到好的顯式正則化方法？

2019-12-26 14:23 作者:智源社區(qū) 0人讀過 | 我要投稿

馬騰宇是誰？

你應(yīng)該聽過 2018 年獲得ACM 博士論文獎(jiǎng)榮譽(yù)獎(jiǎng)的那位年輕人；

或許也關(guān)注過COLT 2018 的最佳論文獎(jiǎng)是位華人；或許還記得 2016 年在那個(gè)還被叫做 NIPS 的會(huì)議上獲得最佳學(xué)生論文獎(jiǎng)的博士生；

或許也耳聞?dòng)形弧耙Π唷贝笊?，博士一畢業(yè)就獲得了斯坦福大學(xué)的教職，并被姚期智高度贊揚(yáng) “將來一定會(huì)在該領(lǐng)域留下非常深刻的痕跡” 。是他，就是他！12月30日，馬騰宇博士將在北京進(jìn)行一場(chǎng)學(xué)術(shù)報(bào)告，我們將有機(jī)會(huì)一睹其風(fēng)采。

下面是這次學(xué)術(shù)報(bào)告的詳細(xì)介紹：深度模型有高超的學(xué)習(xí)（數(shù)據(jù)擬合）能力，但為了提高模型的泛化能力、讓模型在新的數(shù)據(jù)上也有好的表現(xiàn)，我們需要尋找一些方法干擾模型的訓(xùn)練過程，避免模型“記住”訓(xùn)練數(shù)據(jù)，這就是正則化。本次報(bào)告邀請(qǐng)了斯坦福大學(xué)計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)助理教授馬騰宇博士，他將給大家?guī)淼膱?bào)告題目是《為深度模型設(shè)計(jì)顯式正則器》，在這次分享中，馬騰宇老師會(huì)介紹一些近期的顯式正則化方法。設(shè)計(jì)顯shi正則器以提高深度神經(jīng)網(wǎng)絡(luò)的推廣能力，推導(dǎo)深度神經(jīng)網(wǎng)絡(luò)基于數(shù)據(jù)依賴的推廣邊界，并根據(jù)經(jīng)驗(yàn)對(duì)邊界進(jìn)行規(guī)范化，以在標(biāo)準(zhǔn)精度或穩(wěn)健精度方面獲得改進(jìn)的推廣能力，最終將這些技術(shù)應(yīng)用于不平衡數(shù)據(jù)集等最新研究結(jié)果。

報(bào)告嘉賓

馬騰宇博士現(xiàn)為斯坦福大學(xué)計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)助理教授。主要研究領(lǐng)域包括機(jī)器學(xué)習(xí)和算法，如非凸優(yōu)化、深度學(xué)習(xí)及其理論、強(qiáng)化學(xué)習(xí)、表示學(xué)習(xí)、高維統(tǒng)計(jì)等。已在國際頂級(jí)會(huì)議和期刊上發(fā)表高質(zhì)量論文40多篇。獲得2018 ACM博士論文獎(jiǎng)榮譽(yù)獎(jiǎng)(Honorable Mentions)，NeurIPS 2016最佳學(xué)生論文， COLT 2018最佳論文獎(jiǎng)。本科就讀于清華大學(xué)交叉信息研究院，是2008級(jí)“姚班”學(xué)生。畢業(yè)后前往美國在普林斯頓攻讀博士學(xué)位，期間師從Sanjeev Arora教授。