本期為TechBeat人工智能社區(qū)第350期線上Talk。

北京時(shí)間10月20日(周三)晚8點(diǎn)，伊利諾伊大學(xué)香檳分校助理教授—孫若愚的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “GAN的全局幾何圖景: Stackleberg均衡和模式坍塌”，屆時(shí)將介紹其對(duì)GAN（生成對(duì)抗網(wǎng)絡(luò)）的研究進(jìn)展與挑戰(zhàn)，其中將重點(diǎn)介紹他們?cè)贜eurIPS 2020的Oral工作。

Talk·信息

主題：GAN的全局幾何圖景:Stackleberg均衡和模式坍塌

嘉賓：伊利諾伊大學(xué)香檳分校 助理教授孫若愚

時(shí)間：北京時(shí)間?10月20日?(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/Y9JxOb6P至瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦~

過去幾年，GAN（生成對(duì)抗網(wǎng)絡(luò)）的研究取得了很大的進(jìn)展，基于GAN也出現(xiàn)了很多有趣的應(yīng)用。但GAN的訓(xùn)練很困難，有訓(xùn)練不穩(wěn)定、模式坍塌等挑戰(zhàn)。我們認(rèn)為，這是因?yàn)槲覀儗?duì)GAN的基本性質(zhì)缺乏理解；比如最簡(jiǎn)單的2-Gaussian實(shí)驗(yàn)，訓(xùn)練損失函數(shù)就有很多種不同的形狀，目前理論無法解釋這些形狀。從計(jì)算角度（而不是統(tǒng)計(jì)角度）來說，最基本的問題之一，是GAN到底有沒有局部最優(yōu)、局部最優(yōu)是什么。對(duì)這個(gè)問題的回答將極大的增強(qiáng)我們對(duì)GAN的理解，幫助設(shè)計(jì)更好的GAN。

本次分享主要為：

1） 監(jiān)督學(xué)習(xí)中，寬神經(jīng)網(wǎng)絡(luò)和窄網(wǎng)絡(luò)的landscape的主要區(qū)別在于前者沒有bad basin。

2） 傳統(tǒng)理論基于population loss分析GAN有什么缺點(diǎn)。解釋empirical loss和population loss的區(qū)別。

3） 介紹兩個(gè)定理：第一，傳統(tǒng)的JS-GAN有指數(shù)多個(gè)bad basin，每一個(gè)都對(duì)應(yīng)模式坍塌。第二，RpGAN沒有bad-basin。

4） 實(shí)驗(yàn)結(jié)果。RpGAN僅需修改兩行代碼，可取得較大的效果提升。具體來說，一系列實(shí)驗(yàn)說明RpGAN在寬度、初始點(diǎn)選擇、數(shù)據(jù)的均衡性等發(fā)生變化時(shí)，比傳統(tǒng)GAN要好很多。

Talk·參考資料

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！

1. Towards a Better Global Loss Landscape of GANs (NeurIPS 2020 Oral)https://arxiv.org/abs/2011.049262. The Global Landscape of Neural Networks: An Overview, IEEE Signal Processing Magazine 2020https://arxiv.org/abs/2007.014293. Optimization for deep learning: theory and algorithms, JORSC 2020https://arxiv.org/abs/1912.08957v1

Talk·提問交流

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

孫若愚，伊利諾伊大學(xué)香檳分校(UIUC)工業(yè)與系統(tǒng)工程系助理教授，兼電子與計(jì)算機(jī)工程系助理教授。于2009年在北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院數(shù)學(xué)系獲得學(xué)士學(xué)位，2015年在明尼蘇達(dá)大學(xué)電子工程系獲得博士學(xué)位，2015-2016年在斯坦福大學(xué)任博士后研究員，2016年在Facebook AI Research任訪問科學(xué)家，2017年加入U(xiǎn)IUC。他的研究興趣主要是數(shù)學(xué)優(yōu)化和機(jī)器學(xué)習(xí)。他是最早研究機(jī)器學(xué)習(xí)的非凸優(yōu)化全局最優(yōu)性質(zhì)的研究者之一，發(fā)表在FOCS的相關(guān)論文也獲得了INFORMS優(yōu)化協(xié)會(huì)學(xué)生論文競(jìng)爭(zhēng)的Hononrable mention。另外，他對(duì)隨機(jī)置換ADMM的研究獲得了2015年INFORMS Nicholson學(xué)生論文獎(jiǎng)的第二名。目前他的研究興趣主要是神經(jīng)網(wǎng)絡(luò)相關(guān)的優(yōu)化問題，包括全局最優(yōu)性質(zhì)、梯度方法的收斂性分析、生成對(duì)抗網(wǎng)絡(luò)的算法、adaptive梯度算法等。

個(gè)人主頁：

https://ruoyus.github.io/

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ?