「超級云講堂第58期」

指導(dǎo)單位：中國計算機學(xué)會高性能計算專業(yè)委員會

主辦單位：北京超級云計算中心

直播平臺：bilibili、視頻號、知乎、微博、抖音

本期嘉賓：袁進輝，一流科技創(chuàng)始人，清華大學(xué)博士，之江實驗室天樞開源開放平臺架構(gòu)師，原微軟亞洲研究院主管研究員。

OneFlow：

如何讓大規(guī)模深度學(xué)習(xí)變得更容易

近年來，大規(guī)模預(yù)訓(xùn)練模型因其在文本生成等應(yīng)用上優(yōu)異的表現(xiàn)而備受關(guān)注，但通用深度學(xué)習(xí)框架無法直接支持此類需求。目前，通用深度學(xué)習(xí)框架僅支持數(shù)據(jù)并行，還不能支持大規(guī)模預(yù)訓(xùn)練模型所需要的模型并行、流水并行等技術(shù)，只有高度定制的專用軟件系統(tǒng)才能滿足需求。如何在通用深度學(xué)習(xí)框架統(tǒng)一、靈活、高效的支持這些技術(shù)挑戰(zhàn)成為業(yè)界研究熱點，本期分享袁總將系統(tǒng)介紹開源深度學(xué)習(xí)框架OneFlow的設(shè)計理念、技術(shù)實現(xiàn)和應(yīng)用。

內(nèi)容章節(jié)

01?大規(guī)模分布式深度學(xué)習(xí)的研究現(xiàn)狀?

02?大規(guī)模分布式深度學(xué)習(xí)系統(tǒng)的核心機制

03?大規(guī)模分布式深度學(xué)習(xí)訓(xùn)練方案的對比

04?大規(guī)模分布式深度學(xué)習(xí)訓(xùn)練技術(shù)在預(yù)訓(xùn)練模型和搜推廣等領(lǐng)域的應(yīng)用

預(yù)約直播有福利！

掃碼報名預(yù)約，開播前有短信提醒；觀看直播可參與互動抽獎，更可免費領(lǐng)取5000核時/500元卡時計算資源。

互動抽獎 禮品

ACM中國-國際并行計算挑戰(zhàn)賽（IPCC）2022紀念帽衫-秋冬限定版

特邀講師

2008年于清華大學(xué)計算機系獲得工學(xué)博士學(xué)位（優(yōu)秀博士學(xué)位論文獎），2008~2011年在清華大學(xué)計算機系從事計算神經(jīng)科學(xué)方面的博士后研究，原微軟亞洲研究院主管研究員，于2017年創(chuàng)立北京一流科技有限公司，致力于打造新一代深度學(xué)習(xí)框架OneFlow。兼任之江實驗室天樞開源開放平臺架構(gòu)師，北京智源人工智能研究院大模型技術(shù)委員會委員。

「超級云講堂」由中國計算機學(xué)會高性能計算專業(yè)委員會指導(dǎo)，北京超級云計算中心主辦，是集科研、學(xué)術(shù)、教育為一體的在線科普、公益直播講堂。邀請各領(lǐng)域技術(shù)大咖、知名學(xué)者解讀最新、最熱科研、科普話題，分享基于云上科研環(huán)境的應(yīng)用經(jīng)驗與成功實踐。致力于打造一個易參與、樂分享、勤思考、善實踐的科研、科普、學(xué)術(shù)交流平臺，搭建科研、教研工作者與公眾的紐帶和橋梁，不但注重科學(xué)思想的傳播，更注重不同領(lǐng)域思想的交叉和碰撞，志在營造多元的、思辨的科學(xué)文化交流氛圍。

目前云講堂已連續(xù)開播57期，B站粉絲數(shù)量1.1W+，累計觀看次數(shù)達500000+，并擁有29個直播交流群，群活躍粉絲數(shù)量6000+。

往期課程觀看鏈接：

https://space.bilibili.com/505497082

直播扣扣交流群號：794834983

直播平臺：bilibili、視頻號、知乎、微博、抖音

科普、公益、多元、思辨