本周為將門-TechBeat技術(shù)社區(qū)第271期線上Talk。

北京時間1月7日(周四)晚8點(diǎn)，華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院助理教授—杜少雷博士的Talk將準(zhǔn)時在將門TechBeat技術(shù)社區(qū)開播！

他與大家分享的主題是: “超寬神經(jīng)網(wǎng)絡(luò)與神經(jīng)切向核”。屆時將主要討論超參數(shù)化神經(jīng)網(wǎng)絡(luò)和神經(jīng)切向核的等價性，并展示全連接神經(jīng)切向核、卷積神經(jīng)切向核以及圖神經(jīng)切向核在實(shí)際數(shù)據(jù)中的表現(xiàn)。

Talk·信息

▼

主題：超寬神經(jīng)網(wǎng)絡(luò)與神經(jīng)切向核

嘉賓：華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院

助理教授?杜少雷

時間：北京時間?1月7日 (周四) 20:00

地點(diǎn)：將門TechBeat技術(shù)社區(qū)

http://www.techbeat.net/

長按識別二維碼，一鍵完成預(yù)約！

Talk·提綱

▼

本次分享主要討論超參數(shù)化神經(jīng)網(wǎng)絡(luò)（Over-parameterized Neural Network）和一種新的核函數(shù)——神經(jīng)切向核（Neural Tangent Kernel）的等價性。

這種理論可以解釋兩個關(guān)于神經(jīng)網(wǎng)絡(luò)的神奇現(xiàn)象：第一，即使神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)是高度非凸的，簡單的梯度下降算法可以找到全局最優(yōu)解；第二，即使神經(jīng)網(wǎng)絡(luò)的參數(shù)比數(shù)據(jù)量還要大，神經(jīng)網(wǎng)絡(luò)依然享有極優(yōu)的泛化性能。

本次分享的第二部分，將展示全連接神經(jīng)切向核、卷積神經(jīng)切向核，以及圖神經(jīng)切向核在實(shí)際數(shù)據(jù)中的表現(xiàn)。

本次分享的主要內(nèi)容如下：

1.?超參數(shù)化神經(jīng)網(wǎng)絡(luò)和切向神經(jīng)核的等價性，及其對神經(jīng)網(wǎng)絡(luò)優(yōu)化和泛化現(xiàn)象的解釋

2.?神經(jīng)切向核在實(shí)際數(shù)據(jù)中的表現(xiàn)

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預(yù)習(xí)哦！論文鏈接：http://www.offconvex.org/2019/10/03/NTK/

Talk·提問交流

▼

方式 ①

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！問題被選中的小伙伴們將獲得一個紅包獎勵！

方式 ②

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，說不定就被講者直接翻牌解答了呢！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，近期還會有驚喜獎勵哦！

Talk·嘉賓介紹

▼

杜少雷博士，現(xiàn)任華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院助理教授。其研究方向?yàn)樯疃葘W(xué)習(xí)、強(qiáng)化學(xué)習(xí)和表示學(xué)習(xí)的基礎(chǔ)理論。他于2015年在加州大學(xué)伯克利分校獲得本科學(xué)位，2019年在卡耐基梅隆大學(xué)機(jī)器學(xué)習(xí)系獲得博士學(xué)位，并于2019年至2020年在普林斯頓高等研究院數(shù)學(xué)學(xué)院任博士后。他的博士論文獲得ACM最佳博士論文獎提名以及AAAI SIGAI博士論文獎提名。他已在機(jī)器學(xué)習(xí)頂級會議COLT、ICML、ICLR、NeurIPS等發(fā)表三十余篇論文，并在這些會議中任領(lǐng)域主席。

更多信息請前往個人主頁：http://simonshaoleidu.com/

長按識別二維碼，一鍵完成預(yù)約！

關(guān)于TechBeat社區(qū)

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！? ? ? ? ? ? ?

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/PQ37T58v1nUo4H79Oo-tJw