本周為將門-TechBeat技術(shù)社區(qū)第256期線上Talk，也是字節(jié)跳動人工智能實驗室系列Talk第④彈！

北京時間11月12日(周四)晚8點(diǎn)，字節(jié)跳動AI Lab研究員—黃訓(xùn)蓬的Talk將準(zhǔn)時在將門TechBeat技術(shù)社區(qū)開播！

他與大家分享的主題是:?“如何利用高階信息加速優(yōu)化算法”。屆時將從理論和實踐兩個角度來說明自適應(yīng)梯度優(yōu)化算法和高階優(yōu)化的千絲萬縷的聯(lián)系。

Talk·信息

▼

主題：如何利用高階信息加速優(yōu)化算法

嘉賓：字節(jié)跳動AI Lab研究員?黃訓(xùn)蓬

時間：北京時間?11月12日 (周四) 20:00

地點(diǎn)：將門TechBeat技術(shù)社區(qū)

http://www.techbeat.net/

Talk·提綱

▼

近年來，隨著機(jī)器學(xué)習(xí)的興起和神經(jīng)網(wǎng)絡(luò)模型的廣泛使用，如何高效訓(xùn)練神經(jīng)網(wǎng)絡(luò)使之收斂成為了非常重要的課題。AdaGrad、Adam等自適應(yīng)梯度優(yōu)化算法也正是因為有較快的收斂性而在實踐中備受青睞，然而并沒有一種理論觀點(diǎn)得以解釋他們能夠帶來加速的原因。本次Talk將從理論和實踐兩個角度來說明這些算法和高階優(yōu)化的千絲萬縷的聯(lián)系。

本次分享的主要內(nèi)容如下：

1.?Second Moment Matrices如何加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練

2.?如何高效精確估計目標(biāo)函數(shù)Hessian矩陣

3.?自適應(yīng)梯度算法的理論進(jìn)展

Talk·提問交流

▼

方式 ①

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！問題被選中的小伙伴們將獲得一個紅包獎勵！

方式 ②

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，說不定就被講者直接翻牌解答了呢！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，近期還會有驚喜獎勵哦！

Talk·觀看方式

▼

掃描下方二維碼，或復(fù)制https://datayi.cn/w/rREqZJYR至瀏覽器，一鍵完成預(yù)約！上線后會在第一時間收到通知哦~

嘉賓介紹

▼

黃訓(xùn)蓬2018年從中國科學(xué)技術(shù)大學(xué)畢業(yè)，師從陳恩紅教授，主要研究方向是矩陣與機(jī)器學(xué)習(xí)。同年加入字節(jié)跳動AI Lab MLNLC組擔(dān)任算法研究員，主要研究方向為非凸隨機(jī)優(yōu)化以及自適應(yīng)梯度優(yōu)化算法。在AAAI，IJCAI，DASFAA, Information Science等人工智能機(jī)器學(xué)習(xí)的會議期刊上發(fā)表論文數(shù)篇。

關(guān)于TechBeat社區(qū)??????

▼????

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！?????

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/Bd9MOmrFlHSSSvTecUsz_A