論文題目：

Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring

作者信息：

駱正權（中國科學技術大學，中科院自動化所），王云龍（中科院自動化所），王子磊（中國科學技術大學），孫哲南（中科院自動化所），譚鐵牛（中科院自動化所）

收錄會議：

39th International Conference on Machine Learning（ICML2022, to appear）

文章概要：

本文針對目前制約聯(lián)邦學習發(fā)展的節(jié)點數(shù)據(jù)非獨立同分布問題中較為復雜的屬性傾斜因素，提出了共識表征提取和多樣性傳播的解構聯(lián)邦學習框架（Disentangled Federated Learning，DFL）。

會議網(wǎng)址：

https://icml.cc/Conferences/2022

1、研究動機

1.1 研究背景

聯(lián)邦學習作為目前最為火熱的基于隱私安全保護的分布式架構收到了廣泛關注，但是隨著研究的深入，實際場景中節(jié)點數(shù)據(jù)分布之間往往存在巨大的非獨立同分布性質(zhì)（Non-iid），這一分布偏差給模型在聯(lián)邦訓練中帶來了性能損失，收斂不穩(wěn)定等一系列問題。

通過深入分析，我們對Non-iid因素做了細致的拆解，相比于較為明顯的由類別不均衡造成的分布偏差而言，節(jié)點數(shù)據(jù)分布之間的屬性偏差更加隱蔽同時也更難以克服。為了直觀的體現(xiàn)出屬性偏差所造成的性能損害，我們構建了一個屬性傾斜的簡單樣例，首先對手寫數(shù)字分類數(shù)據(jù)集MNIST按照節(jié)點進行均勻的劃分，之后人工地針對不同節(jié)點的前景或背景進行染色，最后分別進行相同的聯(lián)邦訓練。實驗結果可視化如圖一所示，其表明即使是顏色屬性這一原則上不應對數(shù)字分類造成影響的屬性，當在節(jié)點數(shù)據(jù)分布中存在傾斜時實際上給模型分類準確性和收斂穩(wěn)定性都帶來了巨大的傷害。

在實際場景中，由于數(shù)據(jù)采集場景、設備、對象的差異性，屬性傾斜是普遍存在的且嚴重阻礙了聯(lián)邦學習的進一步發(fā)展與實際應用，為了解決這些問題，我們必須深入理解分布差異性造成問題的本質(zhì)，并相應提出克制之法。

聯(lián)邦學習領域先前的研究將收斂不穩(wěn)定和性能損失歸因為節(jié)點間優(yōu)化方向偏差，具體而言，由于不同節(jié)點數(shù)據(jù)分布差異造成節(jié)點模型在優(yōu)化過程中梯度下降方向不一致，導致了聚合模型優(yōu)化過程的不穩(wěn)定，同時也無法最終收斂至全局最優(yōu)點。根據(jù)這一直觀理解提出的相應解決方法可粗略劃分為以下三類：

第一類通過增加節(jié)點優(yōu)化約束項強行矯正梯度下降方向朝向統(tǒng)一方向；第二類使用個性化節(jié)點模型自適應各自的數(shù)據(jù)分布；第三類全局加權聚合通過挑選合適的聚合節(jié)點或者根據(jù)相似性分配不同的權重進行模型聚合。

這些方法雖然在實驗中取得了不錯的結果，但是我們認為對于節(jié)點優(yōu)化方向偏差這一問題的認知依舊不夠深刻，核心問題依舊存在，本文對此進行了深入剖析。

1.2 方法動機

數(shù)據(jù)分布異質(zhì)性會之所以會導致優(yōu)化偏差的本質(zhì)原因在于：特定節(jié)點數(shù)據(jù)的特有屬性不可避免地被節(jié)點模型提取并混合到全局聚合中。這些屬性能被成功學習說明其與決策相關，但可惜不是因果關系，也僅在局部有效。舉個鳥類分類的例子，節(jié)點通過本地模型同時抽取到鳥本身和藍天的屬性，這兩者都有助于飛鳥數(shù)據(jù)的分類決策。不幸的是，藍天作為飛行鳥類圖片所特有的屬性會通過模型聚合注入到全局模型中。對于數(shù)據(jù)集中鳥都在樹上的節(jié)點而言，對于藍天屬性的關注會導致分類性能下降，因為這個數(shù)據(jù)域沒有藍天這一概念。而實際中這種屬性傾斜的現(xiàn)象非常普遍，進而引發(fā)了人們對聯(lián)邦學習系統(tǒng)的魯棒性和可信賴性的擔憂。

我們根據(jù)以上的觀察提出了解構聯(lián)邦學習（DFL）框架，其動機就是要從聚合模型中剝離節(jié)點特有的屬性。但是，傳統(tǒng)聯(lián)邦學習框架通?；趩畏种Ｐ蜔o法支撐DFL，其主要原因在于單分支模型會同時提取到高度糾纏的特有和共識表征屬性。雖然這兩個屬性都有助于局部的任務決策，但其差異在于1）共識表征屬性是內(nèi)在的和因果的，是跨域通用的；2) 特定屬性僅在本地有效，可能會給其他域帶來性能下降。因此，DFL 首度采用了兩個互補分支的節(jié)點模型，引入互信息（MI）約束解開糾纏的屬性，并分別匯聚到不同的分支上：1）特定領域的分支只在本地訓練。2) 域共識表征分支應用于全局聚合。除了重新設計局部節(jié)點模型外，為了有效實現(xiàn)DFL架構，我們提出了共識表征提取和多樣性傳播兩種新技術，將在下文中進行詳細敘述。

2、解構聯(lián)邦學習框架

2.1 解構聯(lián)邦學習框架理論

聯(lián)邦學習的基礎優(yōu)化目標可定義為

其中N為節(jié)點總數(shù)，w為模型參數(shù)，hk表示局部損失函數(shù)，根據(jù)這一優(yōu)化目標，我們可以在節(jié)點間存在巨大分布差異的前提下，解釋優(yōu)化方向偏差的來源。節(jié)點k局部優(yōu)化時節(jié)點數(shù)據(jù)驅(qū)動模型參數(shù)朝向服從數(shù)據(jù)分布為的最優(yōu)點下降，驅(qū)動各節(jié)點模型優(yōu)化的數(shù)據(jù)分布差異性自然導致了優(yōu)化方向的差異，為了解決這一問題，如圖三引入互信息（MI）約束將糾纏在一起的特有和共識屬性解構到兩個不同分支分別進行優(yōu)化，節(jié)點模型被劃分為雙支表征提取器，即共識表征提取分支和特定分支。預測模塊將這兩個分支抽取的表征連接起來作為輸入進行最終的決策。

我們在網(wǎng)絡結構上將傳統(tǒng)的節(jié)點單支模型更新為雙支結構，更本質(zhì)的是通過有效的表征屬性解耦突破傳統(tǒng)聯(lián)邦學習單階段全局優(yōu)化的限制，即一階段全局優(yōu)化很難找到一個可以同時滿足兩個相互沖突的目標的最優(yōu)解，即同時滿足高度泛化性和個性化性能。為了克服這個問題，我們提出了兩階段交替優(yōu)化，具體而言，只有每個節(jié)點模型的共識表征提取分支參與全局聚合。節(jié)點特有分支僅在本地進行優(yōu)化。因此DFL的優(yōu)化目的變?yōu)椋?/p>

其中M表示兩個分支模型的組合，是聚合共識表征提取模型的參數(shù)。最小化的局部特有分支模型定義為，滿足。

與單階段方法相比，DFL的訓練包括局部和全局兩階段交替優(yōu)化。在每個過程中，都會凍結一些模型部分的參數(shù)，以進行更有針對性的訓練。在局部過程中，局部共識表征提取參數(shù)被凍結以將特定屬性分離到局部特定分支中，節(jié)點模型參數(shù)為，該分支僅在局部進行優(yōu)化。然后，最優(yōu)局部特定模型和聚合模型的參數(shù)在全局過程中被凍結，以便更好地解開域不變屬性，此時的全局優(yōu)化目標變?yōu)?。

互信息最大化驅(qū)動局部共識表征提取分支專注于跨域不變屬性，最后將最優(yōu)的局部共識表征提取參數(shù)發(fā)送到服務器進行下一輪共識表征提取聚合。整體優(yōu)化過程偽代碼表示如下。交替優(yōu)化的優(yōu)點在于：1）更容易找到具有良好泛化性的最優(yōu)全局共識表征提取模型。2）節(jié)點特有分支在節(jié)點本地進行優(yōu)化，提供個性化適配。3）通過交替局部-全局優(yōu)化有效的增強了收斂的穩(wěn)定性。

?

2.2 表征解構、共識表征提取和多樣性傳播

為了支撐DFL架構，我們引入了表征解耦方法，并首次提出了共識表征提取和多樣性傳播技術，下面進行具體介紹。

表征解耦：為了有效地解耦屬性，我們引入了基于互信息約束的表征解耦技術，如圖三所示主要用于兩個方面：1) 局部共識表征提取分支和全局共識表征提取分支之間的互信息最大化增強了跨域不變性。2) 局部共識表征提取分支和局部特有分支之間的互信息最小化解耦節(jié)點屬性糾纏。

共識表征提?。?/strong>服務器僅對各節(jié)點共識表征提取分支模型進行加權平均，并將聚合模型分發(fā)至各節(jié)點用于下一輪次共識表征提取分支更新，共識表征提取分支聚合公式為：

多樣性傳播：當屬性成功解耦，節(jié)點特有的屬性從模型聚合中剝離出來。直接忽略會造成大量的浪費，因為節(jié)點特有屬性不僅包含本地節(jié)點的個性化需求，還蘊含大量的分布多樣性。因此，我們提出了多樣性傳播來增加局部表征集：

擴增的表征是通過局部共識表征提取提取器和來自其他節(jié)點的特有屬性提取器共同對本地數(shù)據(jù)進行表征抽取并組合而成，通過迫使本地節(jié)點關注其他節(jié)點的特有屬性，從而豐富節(jié)點表征多樣性，減輕過擬合并增強模型泛化能力。

2.3 收斂性分析

我們在工作中對所提出的DFL進行了詳細的收斂性分析，我們的理論證明了在基于局部特有分支模型梯度有界的前提下，可以保證共識表征提取分支的雙階段全局優(yōu)化是收斂的。這一收斂性證明有力的支撐了DFL框架的可行性。具體的分析過程詳見原文和附錄。

3、實驗結果及可視化

我們從兩個方面驗證DFL有效性，驗證實驗側(cè)重于人工合成的屬性傾斜，旨在驗證 DFL 與其他相關工作相比的有效性、損失收斂和性能改進。應用實驗關注DFL在具有現(xiàn)實屬性傾斜的數(shù)據(jù)集中的表現(xiàn)，試圖證明 DFL 能夠適應實際場景。

3.1 人工合成數(shù)據(jù)

在人工合成屬性傾斜的數(shù)據(jù)集上進行了實驗，結果不僅表明了DFL對于分類準確性的提升，損失曲線更表明了DFL在收斂速率和穩(wěn)定性上的優(yōu)越性。

3.2 真實數(shù)據(jù)

同時我們也在具備真實屬性傾斜的數(shù)據(jù)集上進行了實驗，除性能提升之外，可視化結果也表明了DFL確實有效的對節(jié)點特有和共識表征屬性進行了有效的解構，如圖五所示，第一行共識表征提取分支主要關注于對象的形狀，也即杯子形狀，這是分類的核心決策原因；而第二行特有分支則分別關注不同的屬性，例如杯中液體、文字描述和顏色，這些屬性有助于最終決策但特定于不同的數(shù)據(jù)節(jié)點，這一可視化結果說明了DFL確實提升了聯(lián)邦學習的可解釋性。

更多實驗結果詳見論文。

4、總結

為了抵抗屬性傾斜這一非獨立同分布性質(zhì)的重要組成因素給聯(lián)邦學習帶來的困擾，我們深度挖掘了其問題背后的本質(zhì)，通過表征解耦技術的引入和雙階段交替優(yōu)化方案的突破，在基于可靠的收斂性分析的指導下，我們提出了解構聯(lián)邦學習（DFL）框架，可解釋地增強了聯(lián)邦學習應對節(jié)點數(shù)據(jù)分布異質(zhì)性的能力。

當然目前的研究依舊存在大量值得深入探討的部分，基于可解釋的聯(lián)邦學習和聯(lián)邦泛化學習將是我們未來研究的重點，同時歡迎感興趣的研究者共同參與。

致謝

本研究成果得到了中國人工智能學會-華為MindSpore學術獎勵基金的資助。

MindSpore官網(wǎng)：https://www.mindspore.cn/

標簽：