神經(jīng)機(jī)器翻譯模型在進(jìn)行領(lǐng)域自適應(yīng)的過程中會(huì)發(fā)生災(zāi)難性遺忘現(xiàn)象，即模型會(huì)過擬合新數(shù)據(jù)的特征，而逐漸忘記在之前數(shù)據(jù)上學(xué)習(xí)得到的知識(shí)。盡管研究人員已經(jīng)提出很多方法解決這個(gè)問題，但是我們對發(fā)生災(zāi)難性遺忘現(xiàn)象的原因還不是很清楚。本期我們邀請到來自中國科學(xué)院計(jì)算技術(shù)研究所的谷舒豪，分享他對于災(zāi)難性遺忘現(xiàn)象的分析與改進(jìn)。

講者介紹

谷舒豪，中科院計(jì)算技術(shù)研究所博士生，研究方向?yàn)樽匀徽Z言處理及機(jī)器翻譯，目前已在ACL、EMNLP、NAACL等自然語言處理會(huì)議上發(fā)表論文。

會(huì)議題目

關(guān)于神經(jīng)機(jī)器翻譯中災(zāi)難性遺忘現(xiàn)象的分析與改進(jìn)

會(huì)議摘要

我們從模型的模塊和參數(shù)兩個(gè)角度去分析災(zāi)難性遺忘現(xiàn)象所發(fā)生的原因，我們發(fā)現(xiàn)模型中的一些模塊和參數(shù)對于保留舊領(lǐng)域的知識(shí)更重要，而另一些則對學(xué)習(xí)新領(lǐng)域的知識(shí)更重要。結(jié)合我們的分析，我們提出根據(jù)模型參數(shù)的重要性將網(wǎng)絡(luò)分為兩部分，一部分用于保留舊的知識(shí)，另一部分則只用于學(xué)習(xí)新的知識(shí)。實(shí)驗(yàn)結(jié)果表明，我們的方法相比于對比方法在不同的翻譯領(lǐng)域上都能帶來持續(xù)的提升，尤其在領(lǐng)域差別較大的領(lǐng)域中效果更明顯。

論文標(biāo)題：Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation

Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation

會(huì)議亮點(diǎn)

1、我們分別從參數(shù)和模塊的角度研究了在神經(jīng)機(jī)器翻譯模型進(jìn)行領(lǐng)域自適應(yīng)的過程中發(fā)生災(zāi)難性遺忘的原因；

2、我們證明了對于舊領(lǐng)域不重要的模型參數(shù)可以拿來提升新領(lǐng)域的翻譯質(zhì)量；

3、我們提出了一種領(lǐng)域自適應(yīng)的方法可以在不同的領(lǐng)域上帶來提升，針對差異性較大的領(lǐng)域效果更為明顯。

直播時(shí)間

2021年9月19日（周日）20:00—21:00 線上直播

關(guān)注微信公眾號：人工智能前沿講習(xí)，對話框回復(fù)“SFFAI123”，獲取入群二維碼

注：直播地址會(huì)分享在交流群內(nèi)

現(xiàn)代科學(xué)技術(shù)高度社會(huì)化，在科學(xué)理論與技術(shù)方法上更加趨向綜合與統(tǒng)一，為了滿足人工智能不同領(lǐng)域研究者相互交流、彼此啟發(fā)的需求，我們發(fā)起了SFFAI這個(gè)公益活動(dòng)。SFFAI每周舉行一期線下活動(dòng)，邀請一線科研人員分享、討論人工智能各個(gè)領(lǐng)域的前沿思想和最新成果，使專注于各個(gè)細(xì)分領(lǐng)域的研究者開拓視野、觸類旁通。

SFFAI目前主要關(guān)注機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理等各個(gè)人工智能垂直領(lǐng)域及交叉領(lǐng)域的前沿進(jìn)展，將對線下討論的內(nèi)容進(jìn)行線上傳播，使后來者少踩坑，也為講者塑造個(gè)人影響力。SFFAI還在構(gòu)建人工智能領(lǐng)域的知識(shí)森林—AI Knowledge Forest，通過匯總各位參與者貢獻(xiàn)的領(lǐng)域知識(shí)，沉淀線下分享的前沿精華，使AI Knowledge Tree枝繁葉茂，為人工智能社區(qū)做出貢獻(xiàn)，歡迎大家關(guān)注SFFAI論壇：https://bbs.sffai.com。