近年興起的深度學習方法存在泛化能力差的軟肋，遇到與訓練集不同的樣本，缺乏真人那樣舉一反三和學以致用的能力。為了提升深度學習網(wǎng)絡的泛化能力，正則化是一種常用的方式。正則化一般指通過對深度學習模型添加先驗約束，提升模型的泛化能力，如常用的l2正則化。本期我們邀請到來自深圳大學的王振楠同學，分析他在新的正則化方法上的研究。

講者介紹

王振楠，深圳大學博士生，聚焦于深度學習的基礎性研究，如正則化、損失函數(shù)等，先后在ICCV和NeurIPS兩個計算機領域頂級會議上發(fā)表論文。

會議題目

深度學習模型提升泛化性能的正則化新方法

會議摘要

不同于普通針對權重向量模長的正則化方式，本報告會介紹一種針對權重向量方向的正則化策略，使權重向量之間的相關性大幅減弱，降低網(wǎng)絡的過擬合。此外，目前大多數(shù)正則化是在網(wǎng)絡前向傳播中添加的，本報告還會介紹一種在反向傳播中隱性對梯度進行正則化的方法。作為對深度神經(jīng)網(wǎng)絡底層的改進，這些方法有可能與不同應用場景中的各類深度學習模型相結合。

在線閱讀：https://bbs.sffai.com/d/256

會議亮點

1、本報告介紹了一種使權重向量去相關性的正則化策略；

2、本報告介紹了一種對梯度正則化的策略，同樣有去相關性的作用；

3、本報告介紹的正則化策略具有普遍適用性，可與多種任何多種模型結合使用。

直播時間

2021年7月4日（周日）20:00—21:00 線上直播

關注微信公眾號：人工智能前沿講習，對話框回復“SFFAI113”，獲取入群二維碼

注：騰訊會議直播地址會分享在交流群內(nèi)

現(xiàn)代科學技術高度社會化，在科學理論與技術方法上更加趨向綜合與統(tǒng)一，為了滿足人工智能不同領域研究者相互交流、彼此啟發(fā)的需求，我們發(fā)起了SFFAI這個公益活動。SFFAI每周舉行一期線下活動，邀請一線科研人員分享、討論人工智能各個領域的前沿思想和最新成果，使專注于各個細分領域的研究者開拓視野、觸類旁通。

SFFAI目前主要關注機器學習、計算機視覺、自然語言處理等各個人工智能垂直領域及交叉領域的前沿進展，將對線下討論的內(nèi)容進行線上傳播，使后來者少踩坑，也為講者塑造個人影響力。SFFAI還在構建人工智能領域的知識森林—AI Knowledge Forest，通過匯總各位參與者貢獻的領域知識，沉淀線下分享的前沿精華，使AI Knowledge Tree枝繁葉茂，為人工智能社區(qū)做出貢獻，歡迎大家關注SFFAI論壇：https://bbs.sffai.com。