一般而言，深度神經(jīng)網(wǎng)絡(luò)以端到端的形式訓(xùn)練。盡管端到端訓(xùn)練在大量任務(wù)中都穩(wěn)定地表現(xiàn)出了良好的效果，但由于其極大的顯存開銷和難以并行化，執(zhí)行的效率有待提升。為了解決或緩解上述兩點(diǎn)低效的問題，一個(gè)可能的方案是使用局部監(jiān)督學(xué)習(xí)，即將網(wǎng)絡(luò)拆分為若干個(gè)局部模塊（local module），并在每個(gè)模塊的末端添加一個(gè)局部損失，利用這些局部損失產(chǎn)生監(jiān)督信號(hào)分別訓(xùn)練各個(gè)局部模塊。本期我們邀請(qǐng)到王語霖同學(xué)，分享他在局部監(jiān)督訓(xùn)練方向的研究。

講者介紹

王語霖，清華大學(xué)自動(dòng)化系二年級(jí)直博生，導(dǎo)師為吳澄院士和黃高助理教授。此前于北京航空航天大學(xué)自動(dòng)化學(xué)院獲工學(xué)學(xué)士學(xué)位。研究興趣為深度學(xué)習(xí)模型的高效訓(xùn)練和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等國際一流期刊、會(huì)議上發(fā)表學(xué)術(shù)論文8篇。

報(bào)告題目

局部監(jiān)督訓(xùn)練：深度神經(jīng)網(wǎng)絡(luò)的“淺度”學(xué)習(xí)方法

報(bào)告摘要

這項(xiàng)工作研究了一種比目前廣為使用的端到端訓(xùn)練模式顯存開銷更小、更容易并行化的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法：將網(wǎng)絡(luò)拆分成若干段、使用局部監(jiān)督信號(hào)進(jìn)行訓(xùn)練。我們指出了這一范式的一大缺陷在于損失網(wǎng)絡(luò)整體性能，并從信息的角度闡明了，其癥結(jié)在于局部監(jiān)督傾向于使網(wǎng)絡(luò)在淺層損失對(duì)深層網(wǎng)絡(luò)有很大價(jià)值的任務(wù)相關(guān)信息。為有效解決這一問題，我們提出了一種局部監(jiān)督學(xué)習(xí)算法：InfoPro。在圖像識(shí)別和語義分割任務(wù)上的實(shí)驗(yàn)結(jié)果表明，我們的算法可以在不顯著增大訓(xùn)練時(shí)間的前提下，將顯存開銷降低1.7~2.5倍，并略微提升性能。

報(bào)告亮點(diǎn)

1、從效率（顯存開銷及并行化）的角度反思端到端訓(xùn)練范式；

2、指出了局部監(jiān)督學(xué)習(xí)相較于端到端的缺陷在于損失網(wǎng)絡(luò)性能，并從信息的角度分析了其原因；

3、在理論上初步提出了解決方案，并探討了具體實(shí)現(xiàn)方法。

直播時(shí)間

2021年4月18日（周日）20:00—21:00?線上直播

關(guān)注本公眾號(hào)，對(duì)話框回復(fù)“SFFAI103”，獲取入群二維碼

注：直播地址會(huì)分享在交流群內(nèi)

現(xiàn)代科學(xué)技術(shù)高度社會(huì)化，在科學(xué)理論與技術(shù)方法上更加趨向綜合與統(tǒng)一，為了滿足人工智能不同領(lǐng)域研究者相互交流、彼此啟發(fā)的需求，我們發(fā)起了SFFAI這個(gè)公益活動(dòng)。SFFAI每周舉行一期線下活動(dòng)，邀請(qǐng)一線科研人員分享、討論人工智能各個(gè)領(lǐng)域的前沿思想和最新成果，使專注于各個(gè)細(xì)分領(lǐng)域的研究者開拓視野、觸類旁通。

SFFAI目前主要關(guān)注機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理等各個(gè)人工智能垂直領(lǐng)域及交叉領(lǐng)域的前沿進(jìn)展，將對(duì)線下討論的內(nèi)容進(jìn)行線上傳播，使后來者少踩坑，也為講者塑造個(gè)人影響力。SFFAI還在構(gòu)建人工智能領(lǐng)域的知識(shí)森林—AI Knowledge Forest，通過匯總各位參與者貢獻(xiàn)的領(lǐng)域知識(shí)，沉淀線下分享的前沿精華，使AI Knowledge Tree枝繁葉茂，為人工智能社區(qū)做出貢獻(xiàn)，歡迎大家關(guān)注SFFAI論壇：https://bbs.sffai.com。