1 前言

以往的聯(lián)邦學(xué)習(xí)工作往往僅專注于對(duì)監(jiān)督學(xué)習(xí)任務(wù)的研究，即要求所有的數(shù)據(jù)都必須包含相應(yīng)的標(biāo)簽。但是，在現(xiàn)實(shí)場(chǎng)景中，考慮到大數(shù)據(jù)量標(biāo)注任務(wù)所需要的人力和物力開銷是非常大的，因此本地客戶端所包含的數(shù)據(jù)常常大部分甚至全部都是沒有相應(yīng)標(biāo)簽信息的。為了解決上述問題，大量新的學(xué)習(xí)范式應(yīng)運(yùn)而生。這其中，半監(jiān)督學(xué)習(xí)作為一種解決標(biāo)簽數(shù)據(jù)量小問題的有效方法，被廣大機(jī)器學(xué)習(xí)研究者所偏愛。本博客將從聯(lián)邦半監(jiān)督學(xué)習(xí)入手，為大家介紹其相關(guān)的基本概念，并詳細(xì)講解一種爭(zhēng)對(duì)該應(yīng)用場(chǎng)景的相關(guān)算法——FedMatch。

2 FSSL定義及應(yīng)用場(chǎng)景

2.1 半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)(Semi-Supervised Learning)，是一種利用少量帶標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)進(jìn)行模型訓(xùn)練的機(jī)器學(xué)習(xí)方法。一方面，考慮到根據(jù)半監(jiān)督學(xué)習(xí)的定義，其可以解決帶標(biāo)簽數(shù)據(jù)量少的現(xiàn)實(shí)問題；另一方面，考慮到相較于無監(jiān)督學(xué)習(xí)，其仍然可以利用一部分標(biāo)簽信息來降低訓(xùn)練模型的難度，因此，對(duì)半監(jiān)督學(xué)習(xí)的研究具有非常重要的現(xiàn)實(shí)意義。對(duì)于半監(jiān)督學(xué)習(xí)的理解，有一種說法可以供大家參考：半監(jiān)督學(xué)習(xí)其實(shí)就是利用大量的無標(biāo)簽數(shù)據(jù)來彌補(bǔ)少量標(biāo)簽數(shù)據(jù)指導(dǎo)模型訓(xùn)練所容易造成的過擬合現(xiàn)象(提高泛化能力)。

2.2 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)(Federated Learning)，是一種在確保本地客戶端數(shù)據(jù)隱私安全的前提下，通過中心化服務(wù)器調(diào)用多方本地客戶端聯(lián)合訓(xùn)練模型的一種學(xué)習(xí)范式。聯(lián)邦學(xué)習(xí)的一個(gè)非常重要的作用，就是可以在極高的隱私保護(hù)要求下，為機(jī)器學(xué)習(xí)相關(guān)任務(wù)提供大量的訓(xùn)練數(shù)據(jù)。聯(lián)邦學(xué)習(xí)的這一特性在人們對(duì)于隱私保護(hù)日益重視的今天，對(duì)目前仍需要大量數(shù)據(jù)支撐的機(jī)器學(xué)習(xí)方法來說起著至關(guān)重要的作用。

2.3 聯(lián)邦半監(jiān)督學(xué)習(xí)

2.3.1 基本定義

從廣義上理解，所謂聯(lián)邦半監(jiān)督學(xué)習(xí)(Federated Semi-Supervised Learning, FSSL)，其實(shí)就是將半監(jiān)督學(xué)習(xí)方法應(yīng)用于聯(lián)邦學(xué)習(xí)的應(yīng)用場(chǎng)景之中，結(jié)合兩種技術(shù)的優(yōu)勢(shì)來更好地解決現(xiàn)實(shí)問題。該技術(shù)一方面可以通過聯(lián)邦學(xué)習(xí)保證具備充足的訓(xùn)練數(shù)據(jù)，另一方面又可以通過半監(jiān)督學(xué)習(xí)來緩解各個(gè)客戶端分散數(shù)據(jù)標(biāo)注開銷大的問題。按個(gè)人的理解，其主要可以分為以下兩種類型：

第一類是在聯(lián)邦學(xué)習(xí)的配置下，訓(xùn)練半監(jiān)督學(xué)習(xí)模型

第二類是結(jié)合一些其他的技術(shù)，解決聯(lián)邦學(xué)習(xí)中存在的某些問題/瓶頸(例如通訊瓶頸)

由于第二類方法更多的還是強(qiáng)調(diào)聯(lián)邦學(xué)習(xí)的基本配置，因此，為了更好地對(duì)聯(lián)邦半監(jiān)督學(xué)習(xí)的相關(guān)內(nèi)容進(jìn)行介紹，本文主要針對(duì)第一類學(xué)習(xí)方法進(jìn)行探討。

2.3.2 應(yīng)用場(chǎng)景

論文[1]根據(jù)帶標(biāo)簽的數(shù)據(jù)集是在客戶端還是在服務(wù)器端將聯(lián)邦半監(jiān)督應(yīng)用場(chǎng)景劃分為標(biāo)準(zhǔn)場(chǎng)景(standard scenario)和不相交場(chǎng)景(disjoint scenario)者兩個(gè)類別。兩種應(yīng)用場(chǎng)景的示意圖如圖1所示。

2.3.2.1 標(biāo)準(zhǔn)場(chǎng)景

所謂標(biāo)準(zhǔn)場(chǎng)景，是指參與模型訓(xùn)練的帶標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)均存放于本地客戶端，即本地執(zhí)行標(biāo)準(zhǔn)的半監(jiān)督學(xué)習(xí)訓(xùn)練。如圖1(a)中的例子，對(duì)于提供給手機(jī)端客戶的照片自動(dòng)歸類存放模型，其訓(xùn)練所用到的照片數(shù)據(jù)，可能會(huì)有一小部分照片已經(jīng)被用戶放在了指定的文件夾中(該文件夾即為標(biāo)簽信息)，而大部分照片并未被歸類(無標(biāo)簽信息)，此時(shí)客戶端的模型訓(xùn)練便滿足半監(jiān)督學(xué)習(xí)的配置。該應(yīng)用場(chǎng)景產(chǎn)生的主要原因是因?yàn)榉?wù)商不可能要求每一個(gè)客戶都為模型的訓(xùn)練去標(biāo)注所有的相關(guān)數(shù)據(jù)。

2.3.2.2 不相交場(chǎng)景

所謂不相交場(chǎng)景，是指參與模型訓(xùn)練的帶標(biāo)簽數(shù)據(jù)被存放在服務(wù)端中，而大量的無標(biāo)簽數(shù)據(jù)卻存放在本地客戶端中，即帶標(biāo)簽的監(jiān)督學(xué)習(xí)過程和無標(biāo)簽的無監(jiān)督學(xué)習(xí)過程將分別在服務(wù)器端和客戶端進(jìn)行。該應(yīng)用場(chǎng)景主要是由于許多數(shù)據(jù)的標(biāo)注工作是需要具備相關(guān)專業(yè)知識(shí)的人員來進(jìn)行處理的。例如圖1(b)中的例子，對(duì)于瑜伽姿勢(shì)矯正手機(jī)APP軟件，由于普通人是難以確認(rèn)自己的瑜伽姿勢(shì)是否完成正確，因此，即使用戶愿意為服務(wù)商標(biāo)注所有的圖片數(shù)據(jù)，服務(wù)商也只能聘請(qǐng)那些瑜伽專業(yè)人才來對(duì)相關(guān)數(shù)據(jù)進(jìn)行標(biāo)注。

博客對(duì)上述兩種聯(lián)邦半監(jiān)督應(yīng)用場(chǎng)景的區(qū)別進(jìn)行了簡(jiǎn)單的歸類，其具體內(nèi)容如表1所示。

3 FedMatch算法

針對(duì)上述兩種應(yīng)用場(chǎng)景，這篇來自于ICML workshop'2020的論文[1]提出了一種稱為Federated Matching(FedMatch)的聯(lián)邦半監(jiān)督學(xué)習(xí)算法。對(duì)于聯(lián)邦半監(jiān)督學(xué)習(xí)相關(guān)的論文，個(gè)人認(rèn)為需要從以下三個(gè)關(guān)注點(diǎn)來對(duì)其進(jìn)行理解：

1.該算法適用于哪種聯(lián)邦半監(jiān)督應(yīng)用場(chǎng)景(標(biāo)準(zhǔn)or不相交)

2.該算法是如何利用帶標(biāo)簽和無標(biāo)簽數(shù)據(jù)的(半監(jiān)督學(xué)習(xí)關(guān)注點(diǎn))

3.該算法為服務(wù)器端設(shè)計(jì)了怎樣的模型聚合方式(聯(lián)邦學(xué)習(xí)關(guān)注點(diǎn))

接下來，博客將會(huì)從這三個(gè)關(guān)注點(diǎn)入手，詳細(xì)介紹FedMatch算法的相關(guān)內(nèi)容，以此間接反映出聯(lián)邦半監(jiān)督算法的一般設(shè)計(jì)思路。

3.1 應(yīng)用場(chǎng)景&核心思路

FedMatch算法通過模型的稍事修改可以應(yīng)用于上述所提及的兩種聯(lián)邦半監(jiān)督學(xué)習(xí)應(yīng)用場(chǎng)景之中。該算法的核心設(shè)計(jì)思路主要有以下兩方面內(nèi)容：

1.利用最大化各客戶端模型之間的共識(shí)從無標(biāo)簽信息中進(jìn)行學(xué)習(xí)

2.通過對(duì)模型參數(shù)進(jìn)行分解和隔離，以降低監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)過程之間的相關(guān)影響并減少通訊開銷

3.2 數(shù)據(jù)利用方式

FedMatch算法將帶標(biāo)簽和無標(biāo)簽數(shù)據(jù)的模型訓(xùn)練分解為兩個(gè)過程。對(duì)于帶標(biāo)簽數(shù)據(jù)的訓(xùn)練，算法采用一般的監(jiān)督學(xué)習(xí)模式，利用交叉熵?fù)p失函數(shù)來指導(dǎo)模型的優(yōu)化。而對(duì)于無標(biāo)簽數(shù)據(jù)，F(xiàn)edMatch算法采用了一種稱為一致性正則化的方法來對(duì)其進(jìn)行訓(xùn)練。

3.2.1 一致性正則化

一致性正則化(Consistency Regularization)是一種目前比較流行的半監(jiān)督學(xué)習(xí)算法，其主要是在半監(jiān)督學(xué)習(xí)的配置下，從大量的無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)到所需的相關(guān)知識(shí)。一致性正則化的核心思想其實(shí)非常簡(jiǎn)單：對(duì)于模型的一個(gè)輸入，即使其受到了微小的干擾，模型對(duì)其的預(yù)測(cè)結(jié)果應(yīng)該是一致的[2]。舉一個(gè)簡(jiǎn)單的例子，對(duì)于一張受到較小強(qiáng)度噪聲干擾的小狗圖片，其分類模型的輸出應(yīng)該還是小狗而不會(huì)是一只小貓。當(dāng)然所受到的干擾是在一定程度范圍內(nèi)的，如果干擾過大，即使是人也不一定能夠?qū)⑵浞诸愓_。

3.2.1.1 Inter-client Consistency Loss

首先，F(xiàn)edMatch針對(duì)FSSL配置下的無標(biāo)簽數(shù)據(jù)設(shè)計(jì)了一種稱為inter-client consistency的一致性正則化損失函數(shù)。其對(duì)應(yīng)的公式如下所示：

請(qǐng)注意：本文中所出現(xiàn)的上標(biāo)'*'一律表示該模型參數(shù)，不會(huì)因?yàn)榇颂庉敵龅挠?jì)算而進(jìn)行反向傳播，除非有特殊的說明。

我們可以將helper agent模型的輸出看作是一種標(biāo)簽(在知識(shí)蒸餾中，softmax的輸出其實(shí)就是相對(duì)于one-hot硬標(biāo)簽的一種軟標(biāo)簽)，那么上述公式就可以理解為本地模型的預(yù)測(cè)結(jié)果與各個(gè)共識(shí)模型提供的標(biāo)簽之間的差異應(yīng)該盡可能的小，即上文所提到的一致性正則化思想。由此，我們即可從無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)到各個(gè)樣本中所包含的有效信息。

3.2.1.2 Data-level Consistency Regularization

除了設(shè)計(jì)Inter-client consistency loss以外，F(xiàn)edMatch算法還為每個(gè)客戶端的無標(biāo)簽數(shù)據(jù)添加了數(shù)據(jù)級(jí)別的一致性正則化損失函數(shù)。結(jié)合Inter-client consistency損失函數(shù)，對(duì)于無標(biāo)簽數(shù)據(jù)，模型提供了如下形式的損失函數(shù)來指導(dǎo)模型進(jìn)行訓(xùn)練：

此處，1(x)函數(shù)指one-hot化，即將模型輸出中最大值對(duì)應(yīng)位置(模型認(rèn)為輸入屬于該類別)置為1，其他位置的數(shù)值置為0；Max()函數(shù)的作用是中輸出向量中取出最大值所對(duì)應(yīng)的位置，即為輸出的標(biāo)簽。這里，最終輸出的標(biāo)簽值有兩部分決定，一部分是本地模型對(duì)于輸入的輸出，另一部分是helper agent模型對(duì)于指定輸入的輸出。

有趣的是，最終標(biāo)簽的輸出其實(shí)是基于一種投票思想產(chǎn)生的：對(duì)于每一個(gè)函數(shù)1(x)，其本質(zhì)上就是模型在自己認(rèn)為該輸入應(yīng)該歸屬的輸出的位置上投了一票。最后利用Max()函數(shù)選取投票最高的位置，即可認(rèn)做該輸入所屬的類別/標(biāo)簽。其實(shí)這就體現(xiàn)出了一種共識(shí)機(jī)制。

由此，對(duì)于無標(biāo)簽數(shù)據(jù)，一致性正則化方法設(shè)計(jì)完畢。

3.2.2 參數(shù)分解

論文的作者通過實(shí)現(xiàn)發(fā)現(xiàn)，如果在同一個(gè)模型參數(shù)上分別進(jìn)行標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)的訓(xùn)練(即共享模型參數(shù))，無標(biāo)簽訓(xùn)練過程可能會(huì)導(dǎo)致模型忘記從帶標(biāo)簽數(shù)據(jù)中學(xué)習(xí)到的知識(shí)。因此，F(xiàn)edMatch算法考慮將模型的參數(shù)分解為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩個(gè)部分，通過兩個(gè)部分參數(shù)的獨(dú)立更新來緩解模型遺忘現(xiàn)象。

論文其實(shí)并未對(duì)模型參數(shù)的分解過程進(jìn)行具體介紹，以下是我個(gè)人認(rèn)為的一種符合其要求的參數(shù)分解方案，以供大家探討。對(duì)于模型參數(shù)的分解，F(xiàn)edMatch算法應(yīng)該是將神經(jīng)網(wǎng)絡(luò)模型中的每一個(gè)參數(shù)分解成為兩個(gè)不同參數(shù)的和，即每個(gè)參數(shù)都分解為監(jiān)督參數(shù)部分加無監(jiān)督參數(shù)部分。如此操作，就可以保證監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)參數(shù)在模型的每一個(gè)位置都起到相應(yīng)的作用。

3.3 模型聚合方式

傳統(tǒng)的聯(lián)邦學(xué)習(xí)算法一般采用FedAvg模型所設(shè)計(jì)的聚合方法來對(duì)模型進(jìn)行聚合。FedAvg所采用的模型聚合方式就是按照各個(gè)客戶端所具備的數(shù)據(jù)量占總訓(xùn)練數(shù)據(jù)量的比例來對(duì)各個(gè)參與聚合的本地模型進(jìn)行加權(quán)平均?；诖?，F(xiàn)edMatch算法設(shè)計(jì)了一種考慮本地模型可靠性的聚合方法來對(duì)各個(gè)本地模型進(jìn)行聚合。此處的可靠性指的是模型從數(shù)據(jù)中所學(xué)到知識(shí)對(duì)于解決相關(guān)任務(wù)的可靠性程度。FedMatch算法的可靠性計(jì)算公式如下所示：

除此之外，在服務(wù)器端的模型可靠性計(jì)算也為之前所講解的一致性正則化損失函數(shù)提供了helper agent的選擇機(jī)制，即helper agent是每輪各個(gè)本地模型的集合中可靠性最大的H個(gè)模型的集合。此處的可靠性衡量其實(shí)就是一種各個(gè)客戶端間所達(dá)成的共識(shí)機(jī)制。

3.4 算法運(yùn)行流程

綜上，F(xiàn)edMatch算法的核心內(nèi)容已講解完畢。但對(duì)于兩種不同的聯(lián)邦半監(jiān)督應(yīng)用場(chǎng)景，F(xiàn)edMatch實(shí)際的運(yùn)行流程還是有些細(xì)差別的。兩種應(yīng)用場(chǎng)景的FedMatch運(yùn)行流程示意圖如圖2所示：

對(duì)于標(biāo)準(zhǔn)場(chǎng)景，因?yàn)閿?shù)據(jù)全都放置在客戶端本地，因此，對(duì)于每一輪的模型訓(xùn)練，監(jiān)督學(xué)習(xí)參數(shù)和無監(jiān)督學(xué)習(xí)參數(shù)的更新都可以在本地完成。當(dāng)參數(shù)更新完成后，各個(gè)客戶端將會(huì)把模型的參數(shù)傳送值服務(wù)器端。服務(wù)器使用模型聚合方法對(duì)各個(gè)本地模型進(jìn)行聚合，并選取指定數(shù)目的helper agent。若聚合的模型性能仍為達(dá)到預(yù)期，服務(wù)器將會(huì)把聚合模型和helper agent再次傳送給各個(gè)客戶端。如上操作反復(fù)訓(xùn)練和聚合模型，直至模型的分類性能達(dá)到預(yù)期。

對(duì)于不相交場(chǎng)景，由于其標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)被分別放置在服務(wù)器端和各個(gè)客戶端，因此，監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)過程也將被分開執(zhí)行。服務(wù)器端將在帶標(biāo)簽數(shù)據(jù)上訓(xùn)練好的模型和helper agent投入各個(gè)本地客戶端中進(jìn)行無監(jiān)督學(xué)習(xí)的訓(xùn)練。模型在本地訓(xùn)練完畢后，客戶端將會(huì)把模型權(quán)重重新傳送至服務(wù)器端。服務(wù)器端對(duì)各個(gè)本地模型采用聚合方法進(jìn)行聚合，并選出指定數(shù)目的helper agent。上述過程被反復(fù)操作，直至聚合模型的分類性能達(dá)到預(yù)期的值。

4 總結(jié)

從目前已經(jīng)發(fā)表的論文來看，聯(lián)邦半監(jiān)督學(xué)習(xí)的研究仍然處于起步階段。現(xiàn)有的論文基本上都是從直接應(yīng)用的角度研究聯(lián)邦半監(jiān)督學(xué)習(xí)，而對(duì)于相關(guān)理論的研究卻是十分欠缺的。個(gè)人仍為，聯(lián)邦半監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景是非常廣泛的，因此，對(duì)其進(jìn)行更深一步地研究確實(shí)是有很重要的現(xiàn)實(shí)意義的。除了理論方向，我認(rèn)為還可以從如何更有效地利用無標(biāo)簽數(shù)據(jù)和改進(jìn)聚合算法的角度來開展聯(lián)邦半監(jiān)督學(xué)習(xí)的研究工作?？傊?，聯(lián)邦半監(jiān)督學(xué)習(xí)的研究仍需大量科研人員為之不斷努力奮斗。

參考文獻(xiàn)

[1] Jeong W, Yoon J, Yang E, et al. Federated semi-supervised learning with inter-client consistency[J]. arXiv preprint arXiv:2006.12097, 2020.

[2] 半監(jiān)督深度學(xué)習(xí)又小結(jié)之Consistency Regularization, 糯米稻谷. https://zhuanlan.zhihu.com/p/46893709

[3] KL散度的含義與性質(zhì), 麒麟437. https://blog.csdn.net/qq_40406773/article/details/80630280