SFFAI論壇已開放注冊

詳情點(diǎn)擊查看：https://bbs.sffai.com/d/312

講者介紹

王禮旭，美國西北大學(xué)博士二年級(jí)，研究興趣為設(shè)計(jì)解決方案使得機(jī)器學(xué)習(xí)可以在不同數(shù)據(jù)限制情況下表現(xiàn)出更好的性能，現(xiàn)階段研究主要集中在聯(lián)邦學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、持續(xù)學(xué)習(xí)、機(jī)器學(xué)習(xí)安全等方向。目前已在CVPR/ICCV/ICLR/USENIX Security/AAAI 發(fā)表一作論文。

分享題目

Federated Class Incremental Learning, a case study of dynamic FL

分享摘要

聯(lián)邦學(xué)習(xí) (FL) 的訓(xùn)練是基于去中心化用戶的隱私數(shù)據(jù)，近年來引起了越來越多的關(guān)注。實(shí)際情況中，聯(lián)邦學(xué)習(xí)的訓(xùn)練和部署都處于動(dòng)態(tài)變化的環(huán)境中，在這種動(dòng)態(tài)變化的環(huán)境中，會(huì)有源源不斷的新數(shù)據(jù)和新用戶參與進(jìn)聯(lián)邦學(xué)習(xí)。然而，大多數(shù)現(xiàn)有方法假設(shè)整個(gè)聯(lián)邦學(xué)習(xí)框架的數(shù)據(jù)類別隨著時(shí)間的推移是固定不變的，盡管這些方法稱對于每個(gè)用戶而言，數(shù)據(jù)分布是可隨時(shí)間緩慢變化的。但在絕大多數(shù)聯(lián)邦學(xué)習(xí)的應(yīng)用場景中，整個(gè)框架的數(shù)據(jù)有可能會(huì)在短時(shí)間內(nèi)發(fā)生巨大變化，比如新冠疫情的爆發(fā)會(huì)使得聯(lián)邦學(xué)習(xí)訓(xùn)練而來的傳染病預(yù)測模型瞬間癱瘓，手機(jī)智能應(yīng)用新功能的上線會(huì)使得聯(lián)邦學(xué)習(xí)訓(xùn)練而來的推薦系統(tǒng)沒法及時(shí)適應(yīng)新功能的數(shù)據(jù)等等。所以在聯(lián)邦學(xué)習(xí)未來研究中加入動(dòng)態(tài)環(huán)境持續(xù)學(xué)習(xí)的考量是十分重要且有意義的，此次報(bào)告我們以持續(xù)學(xué)習(xí)中最經(jīng)典的類別增量學(xué)習(xí)為例，希望能激發(fā)大家對于動(dòng)態(tài)聯(lián)邦學(xué)習(xí)研究的興趣。

在聯(lián)邦類別增量學(xué)習(xí)問題中，我們認(rèn)為已經(jīng)參與聯(lián)邦學(xué)習(xí)的用戶經(jīng)?？赡苁占叫碌念悇e，但考慮到每個(gè)用戶自己設(shè)備的存儲(chǔ)空間非常有限，很難對其收集到的所有類別都保存下足夠數(shù)量的數(shù)據(jù)，這種情況下，現(xiàn)如今的聯(lián)邦學(xué)習(xí)模型在舊類數(shù)據(jù)上的性能很可能出現(xiàn)嚴(yán)重的災(zāi)難性遺忘(catastrophic forgetting)現(xiàn)象。此外，聯(lián)邦學(xué)習(xí)框架往往還會(huì)有持續(xù)不斷的新用戶的參與，這些新用戶往往有著大量的新數(shù)據(jù)類別，這樣會(huì)進(jìn)一步加劇全局模型的災(zāi)難性遺忘。為了應(yīng)對這些挑戰(zhàn)，我們提出了一種全新的全局-局部遺忘補(bǔ)償 (GLFC) 模型，即同時(shí)從global和local兩個(gè)角度出發(fā)，盡可能地減弱災(zāi)難性遺忘，使得聯(lián)邦學(xué)習(xí)最終可訓(xùn)練一個(gè)全局增量模型。具體來說，為了解決由于local client自身新舊類別的不平衡導(dǎo)致的local forgetting，我們設(shè)計(jì)了一個(gè)class-aware gradient compensation loss和一個(gè)class-semantic relation distillation loss來平衡舊類的遺忘并保證跨任務(wù)的類間關(guān)系一致性。為了解決各用戶之間非獨(dú)立同分布類別不平衡帶來的global forgetting，我們提出了一個(gè)代理服務(wù)器，它會(huì)選擇最好的舊全局模型來輔助各個(gè)用戶的本地訓(xùn)練。為了保護(hù)代理服務(wù)器和用戶間通信的隱私安全性，我們提出了一種基于梯度的prototype sample通信機(jī)制。我們的模型在多個(gè)數(shù)據(jù)集上的平均準(zhǔn)確率SOTA方法高出4.4%～15.1%不等。

分享亮點(diǎn)

1. 我們是第一個(gè)提出并定義聯(lián)邦類別增量學(xué)習(xí)的工作，該問題的主要挑戰(zhàn)是不損害聯(lián)邦學(xué)習(xí)隱私保護(hù)功能的前提下，有效地緩解聯(lián)邦學(xué)習(xí)在舊類別數(shù)據(jù)上的災(zāi)難性遺忘。盡管我們注意到同期有類似的工作，但他們均對隱私保護(hù)有著不同程度的削弱和破壞。

2. 針對聯(lián)邦類別增量學(xué)習(xí)問題，我們提出了GLFC方法，從全局和局部兩個(gè)角度同時(shí)減弱災(zāi)難性遺忘的影響，據(jù)我們所知，這也是第一個(gè)該問題的解決方案。

3. 為了保護(hù)隱私和進(jìn)一步減輕用戶的存儲(chǔ)負(fù)擔(dān)，我們設(shè)計(jì)了一個(gè)代理服務(wù)器來為用戶的本地訓(xùn)練選擇并存儲(chǔ)最優(yōu)的全局模型，我們還設(shè)計(jì)了一種基于梯度加密的通訊機(jī)制來保護(hù)該代理服務(wù)器與用戶之間的通訊。

直播時(shí)間

2022年4月3日（周日）21:30—22:30 線上直播

關(guān)注微信公眾號(hào)：人工智能前沿講習(xí)，對話框回復(fù)“SFFAI142”，獲取入群二維碼

人工智能前沿學(xué)生論壇 SFFAI（Student Forums on Frontiers of Artificial Intelligence）每周日舉行一期， 邀請一線科研人員分享、討論人工智能各個(gè)領(lǐng)域的前沿思想和最新成果，使專注于各個(gè)細(xì)分領(lǐng)域的研究者開拓視野、觸類旁通。SFFAI 目前主要關(guān)注計(jì)算機(jī)視覺、自然語言處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)理論等各個(gè)人工智能垂直領(lǐng)域及交叉領(lǐng)域的前沿進(jìn)展，進(jìn)行學(xué)術(shù)傳播，為初學(xué)者指明方向，也為講者塑造個(gè)人影響力。

歡迎大家關(guān)注SFFAI論壇：https://bbs.sffai.com/