本周為TechBeat人工智能社區(qū)第292期線上Talk，也是ICLR 2021系列Talk第③期。

北京時(shí)間4月8日(周四)晚8點(diǎn)，卡耐基梅隆大學(xué)博士后—沈志強(qiáng)的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “理解標(biāo)簽平滑和知識(shí)蒸餾以及在自監(jiān)督二值網(wǎng)絡(luò)任務(wù)上的應(yīng)用”，屆時(shí)將介紹有關(guān)知識(shí)蒸餾，標(biāo)簽平滑，自監(jiān)督學(xué)習(xí)，二值網(wǎng)絡(luò)的相關(guān)研究與近期的一些進(jìn)展和思考。

Talk·信息

▼

主題：標(biāo)簽平滑和知識(shí)蒸餾

在自監(jiān)督二值網(wǎng)絡(luò)任務(wù)上的應(yīng)用

嘉賓：卡耐基梅隆大學(xué)博士后?沈志強(qiáng)

時(shí)間：北京時(shí)間?4月8日 (周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接 https://datayi.cn/w/j9yBj1BR 至瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦~

Talk·提綱

▼

知識(shí)蒸餾?(knowledge distillation) 和標(biāo)簽平滑?(label smoothing) 是兩個(gè)常用的網(wǎng)絡(luò)訓(xùn)練方法。之前Müller et al. , (NeurIPS 2019) 提出一個(gè)觀點(diǎn)即兩者沒法兼容，在這個(gè)Talk中，我們深度分析了他們這個(gè)結(jié)論產(chǎn)生的原因以及不完善的地方。我們通過一些新的發(fā)現(xiàn)從原理上解釋了兩者是可兼容的。同時(shí)是我們發(fā)現(xiàn)兩個(gè)場景標(biāo)簽平滑會(huì)真正失去作用。最后我們介紹了將知識(shí)蒸餾應(yīng)用于自監(jiān)督的二值網(wǎng)絡(luò)上的一個(gè)工作，從而更好地來理解知識(shí)蒸餾的工作機(jī)理。

本次分享的主要內(nèi)容如下：

1.?背景介紹：

Background -- knowledge distillation and label smoothing?

2.?回顧之前一篇比較有代表性的工作：

Revisit: When Does Label Smoothing Help? (Rafael Müller et al., ?NeurIPS 2019)?

3.?介紹我們ICLR 2021的一些新的發(fā)現(xiàn)和結(jié)論：

Our discoveries between label smoothing and knowledge?distillation?(ICLR?2021)?

4.?介紹我們CVPR 2021知識(shí)蒸餾在自監(jiān)督學(xué)習(xí)和二值化網(wǎng)絡(luò)上面的一個(gè)應(yīng)用：

Application: S2-BNN: Bridging the Gap Between Self-Supervised ?Real and 1-bit Neural Networks via Guided Distribution Calibration (CVPR 2021)?

Talk·參考資料

▼

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！[1] Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study Zhiqiang Shen, Zechun Liu, Dejia Xu, Zitian Chen, Kwang-Ting Cheng, Marios Savvides. In ICLR 2021.

https://openreview.net/pdf/b1558945f4be425b134dc0840211f29e9979aefe.pdf

[2] S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration. Zhiqiang Shen, Zechun Liu, Jie Qin, Lei Huang, Kwang-Ting Cheng, Marios Savvides. In CVPR 2021.

https://arxiv.org/pdf/2102.08946.pdf

[3] MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks. Zhiqiang Shen and M. Savvides. ?ArXiv abs/2009.08453 (2020).

https://arxiv.org/pdf/2009.08453.pdf.

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

沈志強(qiáng)，CMU的博士后，在Marios Savvides教授的實(shí)驗(yàn)室從事計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等研究工作（最近將加入Eric Xing教授的實(shí)驗(yàn)室）。他早期的研究工作主要聚焦于傳統(tǒng)的計(jì)算機(jī)視覺任務(wù)，比如目標(biāo)檢測，細(xì)粒度分類，視頻描述，包括最早提出和研究learning object detection from scratch (DSOD)這個(gè)問題。最近他還關(guān)注于小樣本、自監(jiān)督學(xué)習(xí)等，同時(shí)也關(guān)注如何為這些視覺任務(wù)通過機(jī)器學(xué)習(xí)算法進(jìn)行加速和優(yōu)化，因此最近一些工作更多的是研究二值化網(wǎng)絡(luò)，知識(shí)蒸餾，網(wǎng)絡(luò)壓縮等工作機(jī)制，同時(shí)和相關(guān)視覺任務(wù)的結(jié)合。

他希望自己的研究能夠使視覺應(yīng)用在現(xiàn)實(shí)場景中更加高效的部署和運(yùn)行，使用更少的數(shù)據(jù)（few-shot）和更少的標(biāo)注（self-supervision），同時(shí)保證模型精度。他的一作工作發(fā)表于TPAMI、IJCV、ICLR、CVPR、ICCV、AAAI等機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域頂級期刊和會(huì)議，他同時(shí)也是這些期刊和會(huì)議的審稿人。

ICLR系列Talk

▼

*點(diǎn)擊標(biāo)題跳轉(zhuǎn)詳情

第①彈

第②彈

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個(gè)薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ