Talk預(yù)告 | NCSU助理教授胥棟寬：資源高效的深度學(xué)習(xí)——規(guī)模化人工智能的民主化
本期為TechBeat人工智能社區(qū)第407期線上Talk。北京時(shí)間5月25日(周三)20:00，北卡州立大學(xué)計(jì)算機(jī)系助理教授——胥棟寬的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！
他與大家分享的主題是: “資源高效的深度學(xué)習(xí): 規(guī)模化人工智能的民主化”，屆時(shí)將分享其最近的研究貢獻(xiàn)，這些貢獻(xiàn)圍繞著資源高效的深度學(xué)習(xí)，將人工智能從“參數(shù)-數(shù)據(jù)-計(jì)算”的饑餓野獸中解放出來(lái)。
Talk·信息
主題：資源高效的深度學(xué)習(xí): 規(guī)?；斯ぶ悄艿拿裰骰?/strong>
嘉賓：北卡州立大學(xué)計(jì)算機(jī)系助理教授 胥棟寬
時(shí)間：北京時(shí)間?5月25日?(周三) 20:00
地點(diǎn)：TechBeat人工智能社區(qū)
http://www.techbeat.net/
完整版怎么看？
掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/Aovr4b5o至瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦
Talk·介紹
在過(guò)去的十年中，深度學(xué)習(xí)的驚人成功主要是由越來(lái)越大的深度神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建推動(dòng)的。這些模型通常強(qiáng)加一個(gè)理想的假設(shè)，即有足夠的資源，包括大規(guī)模的參數(shù)、足夠的數(shù)據(jù)和大規(guī)模的計(jì)算，用于優(yōu)化。然而，這個(gè)假設(shè)在現(xiàn)實(shí)世界的場(chǎng)景中通常會(huì)失敗。例如，計(jì)算機(jī)內(nèi)存可能是有限的，如在邊緣設(shè)備中，大規(guī)模的數(shù)據(jù)由于昂貴的成本和隱私限制而難以獲得，計(jì)算能力受到限制，如在大多數(shù)大學(xué)實(shí)驗(yàn)室。因此，這些資源差異問(wèn)題阻礙了深度學(xué)習(xí)技術(shù)在許多人工智能應(yīng)用中的民主化，開(kāi)發(fā)能夠適應(yīng)不同資源約束的高效深度學(xué)習(xí)方法具有重要意義。
這次Talk中，講者將介紹最近的研究貢獻(xiàn)，這些貢獻(xiàn)圍繞著資源高效的深度學(xué)習(xí)，將人工智能從“參數(shù)-數(shù)據(jù)-計(jì)算”的饑餓野獸中解放出來(lái)。首先，我將介紹我在pretrain-then-finetune范式下對(duì)神經(jīng)網(wǎng)絡(luò)修剪的貢獻(xiàn)，它提高了大規(guī)模語(yǔ)言模型在推理階段的參數(shù)效率，使修剪后的模型比原始模型的參數(shù)少一個(gè)數(shù)量級(jí)，同時(shí)達(dá)到相同或更好的預(yù)測(cè)精度。然后，我將談?wù)撐业?strong>任務(wù)不可知的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索框架，以減少訓(xùn)練階段尋找最佳修剪模型的計(jì)算成本，這對(duì)提高推理階段的參數(shù)效率是一種補(bǔ)充。最后，我將在演講的最后簡(jiǎn)要介紹我正在進(jìn)行的和未來(lái)的工作，作為未來(lái)幾年新的和相關(guān)的問(wèn)題和潛在合作的更廣泛的研究議程的一部分。
Talk·提問(wèn)交流
通過(guò)以下兩種方式提問(wèn)都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！
方式 ①
在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問(wèn)題??，和更多小伙伴們共同討論，被講者直接翻牌解答！
你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦
方式 ②
在本文留言區(qū)直接提出你的問(wèn)題，或掃描下方二維碼提問(wèn)！
Talk·嘉賓介紹
北卡州立大學(xué)計(jì)算機(jī)系助理教授
胥棟寬，將于2022年秋季加入北卡州立大學(xué) (North Carolina State University) 工學(xué)院計(jì)算機(jī)系，擔(dān)任助理教授。他于2014年本科畢業(yè)于中國(guó)人民大學(xué)，2017年碩士畢業(yè)于中國(guó)科學(xué)院 (獲中科院院長(zhǎng)獎(jiǎng)學(xué)金，國(guó)家獎(jiǎng)學(xué)金), 2022年將博士畢業(yè)于美國(guó)賓州州立大學(xué)(Penn State University, PSU)。
胥棟寬致力于高效深度學(xué)習(xí)，主要探究如何提升深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)、數(shù)據(jù)、算力的效率，開(kāi)發(fā)低功耗的算法-硬件協(xié)同設(shè)計(jì)解決方案。其論文多次發(fā)表在機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、數(shù)據(jù)挖掘的頂級(jí)會(huì)議和期刊 (NeurIPS, AAAI, ACL, NAACL, IJCAI等)，并擁有和提交8項(xiàng)美國(guó)專利/申請(qǐng)。他在PSU擔(dān)任過(guò)9門(mén)課程的客座講師或助教 (獲PSU杰出教學(xué)支持獎(jiǎng))，在會(huì)議/大學(xué)/公司做過(guò)多次講座和報(bào)告，指導(dǎo)過(guò)6名學(xué)生的研究工作，擔(dān)任了超過(guò)28個(gè)頂級(jí)會(huì)議和14個(gè)研究領(lǐng)域期刊的 (高級(jí)) PC委員或常規(guī)期刊評(píng)審員，多次獲得 IST學(xué)術(shù)旅行獎(jiǎng)及各種學(xué)術(shù)會(huì)議的獎(jiǎng)學(xué)金。
此外，作為創(chuàng)始學(xué)術(shù)委員會(huì)成員，胥棟寬還發(fā)起了國(guó)內(nèi)外知名的MLNLP (機(jī)器學(xué)習(xí)算法與自然語(yǔ)言處理) 社區(qū)。他與業(yè)界公司和高校有著豐富的合作經(jīng)驗(yàn)，曾在Microsoft Research (Redmond)、AI芯片創(chuàng)業(yè)公司Moffett AI、和NEC美國(guó)實(shí)驗(yàn)室實(shí)習(xí)，并與Princeton University、UT Austin、Northeastern University、University of Connecticut、Texas A&M University等高校有緊密的合作。胥棟寬的長(zhǎng)期研究目標(biāo)是使人工智能民主化，以服務(wù)更廣泛的人群和領(lǐng)域。
個(gè)人主頁(yè)：http://www.personal.psu.edu/dux19/
關(guān)于TechBeat人工智能社區(qū)
TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！
更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ
