本期為TechBeat人工智能社區(qū)第358期線上Talk。

北京時(shí)間11月17日(周三)晚8點(diǎn)，南加州大學(xué)助理教授——馬學(xué)喆的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！

他與大家分享的主題是: “深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法”，屆時(shí)將主要討論Apollo在收斂速度和泛化性能對(duì)比其它隨機(jī)優(yōu)化方法的研究進(jìn)展與挑戰(zhàn)。

Talk·信息

主題：深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法

嘉賓：南加州大學(xué)助理教授?馬學(xué)喆

時(shí)間：北京時(shí)間?11月17日?(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/39lBbXgP至瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦~?

Talk·提綱

本次報(bào)告主要討論深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法。在上半部分，我們先簡(jiǎn)單介紹一下深度學(xué)習(xí)中優(yōu)化問(wèn)題的一些背景知識(shí)，以及一些主流的優(yōu)化算法，包括SGD，Adam以及他們的一些變體。在報(bào)告的下半部分，我將介紹一下我們最近的一個(gè)優(yōu)化工作，就是apollo優(yōu)化器。它通過(guò)對(duì)角矩陣逼近 Hessian，動(dòng)態(tài)地將損失函數(shù)的曲率應(yīng)用到優(yōu)化的過(guò)程中。重要的是，Apollo 對(duì)于 Hessian 的對(duì)角近似的時(shí)間和空間復(fù)雜度與自適應(yīng)一階優(yōu)化方法一樣。為了處理目標(biāo)函數(shù)的非凸性，我們用 Hessian 的修正絕對(duì)值來(lái)代替原始的 Hessian，保證它是正定的。機(jī)器視覺(jué)和自然語(yǔ)言處理三項(xiàng)任務(wù)上的實(shí)驗(yàn)表明，Apollo 在收斂速度和泛化性能上對(duì)比其它隨機(jī)優(yōu)化方法（包括 SGD 和 ADAM 的變體）有了顯著的改進(jìn)。

1. 深度神經(jīng)網(wǎng)絡(luò)優(yōu)化的背景內(nèi)容

2. 主流的優(yōu)化算法，包括SGD，Adam以及它們的變體

3. 基于擬牛頓法的Apollo優(yōu)化算法

Talk·參考資料

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！

論文鏈接：

https://www.techbeat.net/article-info?id=2768

Talk·提問(wèn)交流

通過(guò)以下兩種方式提問(wèn)都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問(wèn)題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問(wèn)題，或掃描下方二維碼提問(wèn)！

Talk·嘉賓介紹

馬學(xué)喆博士現(xiàn)任南加州大學(xué)計(jì)算機(jī)學(xué)院研究助理教授。其研究方向?yàn)樯疃葘W(xué)習(xí)，表征學(xué)習(xí)與自然語(yǔ)言處理。他于2010年在上海交通大學(xué)ACM班獲得本科學(xué)位。并在2020年于卡耐基梅隆大學(xué)語(yǔ)言技術(shù)研究所(CMU LTI)獲得博士學(xué)位。他已在機(jī)器學(xué)習(xí)和自然語(yǔ)言處理頂級(jí)會(huì)議ICML, ICLR, NeurIPS， ACL，NAACL，EMNLP等發(fā)表三十余篇論文，并在這些會(huì)議中任領(lǐng)域主席。

個(gè)人主頁(yè)：

https://xuezhemax.github.io/

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ?