上周四20點(diǎn)，今年ICML杰出論文提名獎(jiǎng)一作——來自康奈爾大學(xué)計(jì)算機(jī)系的在讀博士生陸昱成受邀來到將門TechBeat，直播分享了他本次在ICML的工作：Optimal Complexity in Decentralized Training（去中心化分布式訓(xùn)練的最優(yōu)復(fù)雜度），并與大家進(jìn)行了實(shí)時(shí)Q&A交流！

錯(cuò)過直播的同學(xué)們也不要遺憾，本文為你們整理了直播視頻的回看方式，以及交流分享的精彩片段，趕緊學(xué)起來！??

01?『觀看方式』

主題：Optimal Complexity in Decentralized Training

（去中心化分布式訓(xùn)練的最優(yōu)復(fù)雜度）

嘉賓：康奈爾大學(xué)計(jì)算機(jī)系在讀博士生陸昱成

地點(diǎn)：TechBeat人工智能社區(qū)

https://www.techbeat.net/talk-info?id=566

02?『論文介紹』

去中心化分布式訓(xùn)練的最優(yōu)復(fù)雜度

隨著機(jī)器學(xué)習(xí)模型和數(shù)據(jù)量的增大，大規(guī)模分布式訓(xùn)練決定了模型部署的效率。去中心化，作為一種經(jīng)典的分布式系統(tǒng)設(shè)計(jì)原型，近年來在擴(kuò)展機(jī)器學(xué)習(xí)規(guī)模上顯示出良好的效率和魯棒性。本文基于此背景，探究了不同去中心化系統(tǒng)下訓(xùn)練復(fù)雜度的理論極限；并進(jìn)一步提出了兩種算法，其復(fù)雜度可以達(dá)到該理論極限。

論文鏈接：http://proceedings.mlr.press/v139/lu21a/lu21a.pdf

03『精彩片段』

論文解讀精彩片段：

04?『嘉賓介紹』

陸昱成，康奈爾大學(xué)計(jì)算機(jī)系三年級(jí)博士生，師從Christopher De Sa教授。他本科畢業(yè)于上海交通大學(xué)電子系，曾在賓夕法尼亞大學(xué)分布式系統(tǒng)實(shí)驗(yàn)室做訪問學(xué)者，并曾實(shí)習(xí)于亞馬遜，微軟等公司的機(jī)器學(xué)習(xí)實(shí)驗(yàn)室。他的研究方向?yàn)榇笠?guī)模機(jī)器學(xué)習(xí)系統(tǒng)，隨機(jī)和并行優(yōu)化算法。他曾獲得過康奈爾大學(xué)2018博士生獎(jiǎng)學(xué)金，ICML2021杰出論文提名獎(jiǎng)等。

-The End-

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ