預(yù)訓(xùn)練語言模型在自然語言處理領(lǐng)域已經(jīng)取得了非常矚目的效果，但是由于其龐大的參數(shù)量，導(dǎo)致在實際應(yīng)用的過程中無法高效的微調(diào)與應(yīng)用。本期我們邀請到了來自中國人民大學(xué)的劉沛羽同學(xué)，他提出了一種新穎的預(yù)訓(xùn)練語言模型輕量化微調(diào)和壓縮的方法，可以減少平均91%的待微調(diào)參數(shù)量。

講者介紹

劉沛羽，中國人民大學(xué)博士生，導(dǎo)師為趙鑫教授，主要研究方向為自然語言處理，模型壓縮，目前已經(jīng)在ACL會議發(fā)表論文1篇。

會議題目

基于矩陣乘積算符的預(yù)訓(xùn)練語言模型壓縮與輕量化微調(diào)

會議摘要

本文提出了一種新穎的預(yù)訓(xùn)練語言模型輕量化微調(diào)和壓縮的方法。其中，矩陣乘積算符 (MPO) 表示可以將權(quán)重矩陣表示為中間張量（包含主要信息）和輔助張量（包含極少參數(shù)量）的乘積形式?；诖?，我們借助矩陣的MPO表示形式，提出了一種新穎的微調(diào)策略，即只需要更新包含極少參數(shù)的輔助張量就能實現(xiàn)對整體權(quán)重矩陣的更新。同時，我們也設(shè)計了一種新的優(yōu)化方法來訓(xùn)練MPO表式下的多層網(wǎng)絡(luò)結(jié)構(gòu)。除此之外，我們提出的方法具有通用性，不論是原始的模型還是已經(jīng)壓縮過的模型上，均可以極大程度地降低需要微調(diào)的參數(shù)量，最終可以減少平均91%的待微調(diào)參數(shù)量。在本文實驗中也說明了該方法在模型壓縮上的有效性。

論文標(biāo)題：Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators

論文下載：關(guān)注微信公眾號：人工智能前沿講習(xí)，對話框回復(fù)“SFFAI129”，獲取下載

會議亮點

1、本文提出了預(yù)訓(xùn)練語言模型的輕量化微調(diào)的方法，可降低平均91%的待微調(diào)參數(shù)量；

2、基于矩陣的MPO表示，本文將輕量化微調(diào)和總參數(shù)的壓縮統(tǒng)一在一個框架下；

3、本文的方法適用于不同的模型結(jié)構(gòu)，甚至包括已經(jīng)壓縮過的模型。

直播時間

2021年11月21日（周日）20:00—21:00 線上直播

關(guān)注微信公眾號：人工智能前沿講習(xí)，對話框回復(fù)“SFFAI129”，獲取入群二維碼

現(xiàn)代科學(xué)技術(shù)高度社會化，在科學(xué)理論與技術(shù)方法上更加趨向綜合與統(tǒng)一，為了滿足人工智能不同領(lǐng)域研究者相互交流、彼此啟發(fā)的需求，我們發(fā)起了SFFAI這個公益活動。SFFAI每周舉行一期線下活動，邀請一線科研人員分享、討論人工智能各個領(lǐng)域的前沿思想和最新成果，使專注于各個細(xì)分領(lǐng)域的研究者開拓視野、觸類旁通。

SFFAI目前主要關(guān)注機器學(xué)習(xí)、計算機視覺、自然語言處理等各個人工智能垂直領(lǐng)域及交叉領(lǐng)域的前沿進展，將對線下討論的內(nèi)容進行線上傳播，使后來者少踩坑，也為講者塑造個人影響力。SFFAI還在構(gòu)建人工智能領(lǐng)域的知識森林—AI Knowledge Forest，通過匯總各位參與者貢獻(xiàn)的領(lǐng)域知識，沉淀線下分享的前沿精華，使AI Knowledge Tree枝繁葉茂，為人工智能社區(qū)做出貢獻(xiàn)，歡迎大家關(guān)注SFFAI論壇：https://bbs.sffai.com。