本周為TechBeat人工智能社區(qū)第311期線上Talk。

北京時間6月3日(周四)晚8點，微軟雷德蒙德研究院Principal Researcher——成宇博士的Talk將準時在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “自然語言處理預訓練模型的壓縮和加速”，屆時將介紹有關自然語言處理、預訓練模型、模型壓縮、訓練加速的相關研究與近期的一些進展和思考。

Talk·信息

▼

主題：自然語言處理預訓練模型的壓縮和加速

嘉賓：微軟雷德蒙德研究院Principle Researcher?成宇

時間：北京時間?6月3日 (周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復制鏈接 https://datayi.cn/w/xRxLx65R 至瀏覽器，一鍵完成預約！上線后會在第一時間收到通知哦~

Talk·提綱

▼

近年來，大規(guī)模訓練模型例如BERT，GPT等在自然語言處理各種任務中被廣泛使用。在實際應用中，由于計算資源和運行時間的限制，對這些模型進行壓縮和提速變得非常關鍵。Talk將圍繞我們相關的一些工作，如知識蒸餾，剪枝和訓練加速等進行介紹，并提供一些研究方面的心得和前景展望。

本次分享的主要內容如下：

1. 問題背景和需求；

2. ?模型的蒸餾和壓縮；

3. 模型訓練提速；

4. ?相關討論

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預習哦！

[1]. Patient Knowledge Distillation for BERT Model Compression. EMNLP 2019

https://arxiv.org/abs/1908.09355

[2]. Contrastive Distillation on Intermediate Representations for Language Model Compression. EMNLP 2020https://arxiv.org/pdf/2009.14167.pdf[3]. EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets. ACL 2021

https://openreview.net/forum?id=I-VfjSBzi36

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

成宇博士，現(xiàn)任微軟雷德蒙德研究院Principal Researcher，負責微軟在深度學習，計算機視覺，自然語言處理方向研發(fā)。在加入微軟之前從2015年到2018年，他擔任IBM托馬斯·J·沃森研究中心和麻省理工/IBM聯(lián)合人工智能中心的研究員。

成宇博士于2010年在清華大學取得學士學位，并于2015年在美國Northwestern University取得博士學位。研究方向主要在模型壓縮/加速和深度生成模型，以及其在計算機視覺和自然語言方面的應用。

他目前已在相關領域發(fā)表論文超過100篇并獲得十余項專利授權。谷歌學術顯示，他目前獲得的總引用數(shù)為6938，h-index為44，i10-index為97。

關于TechBeat人工智能社區(qū)

▼TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ