1 背景知識(shí)

聯(lián)邦學(xué)習(xí)系統(tǒng)比較容易受到各種錯(cuò)誤的影響。這些錯(cuò)誤包括一些非惡意性錯(cuò)誤（比如預(yù)處理流程中的漏洞、噪音過(guò)強(qiáng)的訓(xùn)練標(biāo)簽和不可靠的用戶），還包括一些旨在破壞系統(tǒng)訓(xùn)練過(guò)程和部署流程的顯式攻擊。這些非惡意性錯(cuò)誤和顯式攻擊的影響，都可能會(huì)使系統(tǒng)的魯棒性難以實(shí)現(xiàn)。這里我們主要討論后者，也就是顯示攻擊：破壞聯(lián)邦學(xué)習(xí)魯棒性的攻擊方，試圖以一種對(duì)模型不利的方式修改來(lái)模型行為。根據(jù)攻擊目標(biāo)的不同，可以分為：1、無(wú)目標(biāo)攻擊，這類(lèi)攻擊的目標(biāo)是降低模型的全局精度或全面“摧毀”全局模型。2、目標(biāo)攻擊，或后門(mén)攻擊，該類(lèi)型攻擊的目標(biāo)是改變模型對(duì)少數(shù)樣本的行為，同時(shí)保持對(duì)所有其他樣本的良好的整體準(zhǔn)確性，使得攻擊難以被察覺(jué)。本文將結(jié)合ICML2019中的論文：Analyzing Federated Learning through an Adversarial Lens，對(duì)影響聯(lián)邦學(xué)習(xí)魯棒性的目標(biāo)攻擊做一個(gè)簡(jiǎn)單的介紹。

2 論文的主要工作

論文主要研究了一個(gè)僅由單個(gè)惡意訓(xùn)練方發(fā)起對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)的目標(biāo)攻擊。它的攻擊目標(biāo)是：在不影響其余輸入的情況下，使模型以較高的置信度，對(duì)某類(lèi)特定的輸入進(jìn)行誤分類(lèi)。

1. 論文首先提出Simple Boosting思想，使得攻擊方能克服服務(wù)器對(duì)梯度更新聚合時(shí)縮放的影響，基本實(shí)現(xiàn)了攻擊的目的；

2. 為提高攻擊算法的隱蔽性，論文提出了Stealthy model poisoning思想，使得攻擊方能躲避一些異常檢測(cè)；

3. 更進(jìn)一步，論文提出了Alternating minimization思想，使得攻擊方能更進(jìn)一步躲避異常檢測(cè)，使得它們難以被檢測(cè)到。

4. 論文對(duì)以上提出的三個(gè)思想進(jìn)行了實(shí)驗(yàn)的驗(yàn)證，證明了這種后門(mén)攻擊的有效性和隱蔽性。

3 論文的整體思路

為了使得接下來(lái)的論文內(nèi)容更加容易理解，首先對(duì)論文中的惡意訓(xùn)練方的攻擊目標(biāo)的數(shù)學(xué)表達(dá)形式進(jìn)行解釋?zhuān)?/p>

第一個(gè)參數(shù)是：攻擊方對(duì)本輪更新之后的全局模型的估計(jì)值；第二個(gè)參數(shù)是本輪更新之前，服務(wù)器發(fā)送給惡意訓(xùn)練方的當(dāng)前全局模型；第三個(gè)參數(shù)是服務(wù)器給予這個(gè)惡意訓(xùn)練方的梯度更新的權(quán)重；第四個(gè)參數(shù)是惡意訓(xùn)練方發(fā)送給服務(wù)器的惡意梯度更新。

另外論文中還假設(shè)，用于論文中的實(shí)驗(yàn)的數(shù)據(jù)集是iid的，即獨(dú)立同分布。

3.1 Simple Boosting

3.1.1 算法實(shí)現(xiàn)

那么這個(gè)惡意訓(xùn)練方該怎樣實(shí)現(xiàn)它的目的的呢？論文首先提出了Simple Boosting方法：

在Simple Boosting方法中：首先，惡意訓(xùn)練方模仿正常的訓(xùn)練方，從服務(wù)器發(fā)送給訓(xùn)練方的當(dāng)前全局模型參數(shù)開(kāi)始，最小化在修改過(guò)標(biāo)簽的數(shù)據(jù)集上的損失，從而訓(xùn)練得到一個(gè)本地的模型；進(jìn)一步得到本地的梯度更新；最終將這個(gè)梯度更新進(jìn)行Boost）并回傳給服務(wù)器。惡意訓(xùn)練方實(shí)現(xiàn)攻擊目的的核心就在于這個(gè)Boost操作，進(jìn)行這個(gè)操作的理由如下：由惡意訓(xùn)練方回傳給服務(wù)器的梯度更新，試圖確保全局模型為特定的輸入x，所學(xué)習(xí)的標(biāo)簽與真實(shí)標(biāo)簽y不同，所以，惡意的訓(xùn)練方首先必須克服其余正常訓(xùn)練方梯度更新的影響，其次，還需要克服服務(wù)器聚合模型梯度時(shí)，對(duì)梯度更新scaling的影響。否則，如果不對(duì)這些影響做處理的話，由于其余正常的訓(xùn)練方對(duì)于特定輸入x的學(xué)習(xí)目標(biāo)與惡意訓(xùn)練方的目標(biāo)的標(biāo)簽是完全不一致的，這將使得惡意訓(xùn)練方訓(xùn)練得到的梯度更新不產(chǎn)生效果，尤其是在數(shù)據(jù)獨(dú)立同分布的情況下。所以，惡意訓(xùn)練方將最終的梯度更新發(fā)送回服務(wù)器之前，需要對(duì)當(dāng)前得到的梯度更新進(jìn)行Boost。最終將增強(qiáng)后的梯度更新發(fā)回服務(wù)器。

可以得到如下結(jié)果：本輪更新之后的全局模型的估計(jì)值等于惡意訓(xùn)練方的本地模型。換句話說(shuō)，如果攻擊方對(duì)全局模型的估計(jì)值是正確的，那么經(jīng)過(guò)simple boosting之后，此時(shí)惡意訓(xùn)練方的本地模型已經(jīng)替換了全局模型，可以實(shí)現(xiàn)目標(biāo)攻擊：在不影響其余輸入的情況下，使模型以較高的置信度，對(duì)某類(lèi)特定的輸入進(jìn)行誤分類(lèi)。

3.1.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果圖分析：x軸代表時(shí)間，y軸代表置信度和準(zhǔn)確度。紅線代表全局模型對(duì)于惡意目標(biāo)的置信度，綠色是全局模型在檢驗(yàn)集上的準(zhǔn)確度?？梢钥吹皆趖=3之后，全局模型對(duì)由攻擊方設(shè)置的錯(cuò)誤預(yù)測(cè)已經(jīng)有了很高的置信度。另外，全局模型在檢驗(yàn)集上表現(xiàn)出的整體性能仍然非常好。這個(gè)試驗(yàn)結(jié)果表明，論文中的simple boosting方法已經(jīng)能夠?qū)崿F(xiàn)對(duì)聯(lián)邦學(xué)習(xí)的目標(biāo)攻擊。

3.2 Stealth metrics

但是，在simple boosting方法能夠?qū)崿F(xiàn)攻擊的目的的同時(shí)，還有一個(gè)巨大的缺點(diǎn)：很容易被一些異常檢測(cè)算法檢測(cè)到，從而無(wú)法真正實(shí)現(xiàn)目的。論文中介紹了一些服務(wù)器用于檢測(cè)惡意攻擊方是否存在的檢測(cè)方法。在這里簡(jiǎn)要地說(shuō)一說(shuō)其中兩個(gè)檢測(cè)算法：精確度檢測(cè)和權(quán)重更新檢測(cè)。

3.2.1 精確度檢測(cè)

解釋一下這個(gè)等式所表示的模型：假設(shè)有編號(hào)1、2、3三個(gè)訓(xùn)練方參加本輪聚合，當(dāng)前正在檢驗(yàn)1號(hào)訓(xùn)練方，那么這個(gè)等式所表示的模型就是服務(wù)器聚合2號(hào)和3號(hào)訓(xùn)練方的梯度更新之后的模型。如果1號(hào)訓(xùn)練方的性能檢測(cè)的結(jié)果，明顯小于聚合了2號(hào)和3號(hào)訓(xùn)練方的性能檢測(cè)的結(jié)果，那么就可以認(rèn)為第i個(gè)訓(xùn)練方是攻擊方。

3.2.2 權(quán)值分布檢測(cè)

權(quán)值分布檢測(cè)則更加地直觀：繪制所有訓(xùn)練方的梯度更新的直方圖，比較各個(gè)訓(xùn)練方梯度更新的分布，比如下圖：

3.2.3 檢測(cè)算法對(duì)Simple Boosting方法的作用

在第一張圖中，我們暫時(shí)只需要關(guān)注藍(lán)色虛線和綠色線，藍(lán)色虛線代表著精確度檢測(cè)過(guò)程中，服務(wù)器檢測(cè)惡意訓(xùn)練方在驗(yàn)證集上的準(zhǔn)確度，綠色線代表全局模型在檢驗(yàn)集上的準(zhǔn)確度。使用simple boosting方法的攻擊方的模型在檢驗(yàn)集上的準(zhǔn)確度比全局模型在檢驗(yàn)集上的準(zhǔn)確度低很多，說(shuō)明使用精確度檢測(cè)可以將使用了Simple Boosting方法的惡意訓(xùn)練方檢測(cè)出來(lái)。

在第二張圖中，藍(lán)色是正常訓(xùn)練方的權(quán)重分布，紅色的是使用simple boosting方法的惡意訓(xùn)練方的權(quán)重分布，很容易的可以看到攻擊方的權(quán)重更新分布更加窄，并且更加尖銳，說(shuō)明使用權(quán)值分布檢測(cè)也可以將使用了Simple Boosting方法的惡意訓(xùn)練方檢測(cè)出來(lái)。

所以，不論服務(wù)器選擇基于精確度檢測(cè)的方法，還是基于權(quán)值分布檢測(cè)的方法，都可以將使用simple boosting方法的攻擊方檢測(cè)出來(lái)。這說(shuō)明：使用simple boosting方法的攻擊方理論上能夠?qū)崿F(xiàn)攻擊的目的。但同時(shí)還有一個(gè)巨大的缺點(diǎn)：很容易被服務(wù)器檢測(cè)出來(lái)從而最終沒(méi)有辦法完成攻擊任務(wù)。

3.3 Stealthy model poisoning

3.3.1 算法實(shí)現(xiàn)

正如我們之前所說(shuō)的，服務(wù)器有兩種方法來(lái)檢測(cè)惡意的訓(xùn)練方：一種在驗(yàn)證集上進(jìn)行精確度檢測(cè)，另一種是與權(quán)重分布檢測(cè)。那么為了使得攻擊方能夠躲避這兩種方法的檢測(cè)，論文進(jìn)一步提出了Stealthy model poisoning的方法，攻擊方根據(jù)這兩種檢測(cè)方法，建立了新的損失函數(shù)。

3.3.2 實(shí)驗(yàn)結(jié)果

在第一張圖中，我們只需要關(guān)注紅色實(shí)線、藍(lán)色實(shí)線和綠色實(shí)線，紅色實(shí)線表示全局模型對(duì)于惡意目標(biāo)的置信度，藍(lán)色實(shí)線代表著精確度檢測(cè)過(guò)程中，服務(wù)器檢測(cè)惡意訓(xùn)練方在驗(yàn)證集上的準(zhǔn)確度，綠色線代表全局模型在檢驗(yàn)集上的準(zhǔn)確度。通過(guò)觀察紅色實(shí)線：在t=3之后，全局模型對(duì)于 由攻擊方設(shè)置的錯(cuò)誤預(yù)測(cè) 已經(jīng)有了很高的置信度。說(shuō)明使用隱形模型中毒的方法也可以實(shí)現(xiàn)攻擊的目標(biāo)。比較藍(lán)色實(shí)線和綠色實(shí)線：使用隱形模型中毒方法的攻擊方的模型在檢驗(yàn)集上的準(zhǔn)確度與全局模型在檢驗(yàn)集上的準(zhǔn)確度比較接近，特別是t=8之后。所以相對(duì)于之前的simple boosting方法來(lái)說(shuō)，使用隱形模型中毒的攻擊方在精確度檢測(cè)中更難被檢測(cè)到。

在第二張圖中，藍(lán)色是正常訓(xùn)練方的權(quán)重分布，紅色的是使用隱形模型檢測(cè)方法的惡意訓(xùn)練方的權(quán)重分布，由于損失函數(shù)中的距離附加項(xiàng)，隱形模型中毒的攻擊方的權(quán)重更新分布與正常訓(xùn)練方的權(quán)重更新分布較為接近，所以相對(duì)之前的simple boosting方法來(lái)說(shuō)，使用隱形模型中毒在權(quán)重分布檢測(cè)中更難被檢測(cè)到。

所以，不論服務(wù)器選擇基于精確度檢測(cè)的方法，還是基于權(quán)值分布檢測(cè)的方法，使用隱形模型中毒方法的攻擊方都比使用simple boosting方法的攻擊方更難檢測(cè)。

3.4 Alternating minimization

雖然隱身模型中毒攻擊可以確保在不被兩種檢測(cè)方法發(fā)現(xiàn)的同時(shí)，有針對(duì)性地使全局模型中毒，但它并不能確保在每次迭代中都起作用。實(shí)際上，從剛剛的實(shí)驗(yàn)可以看出，在剛剛開(kāi)始進(jìn)行訓(xùn)練的時(shí)候，使用精確度檢測(cè)仍然可以檢測(cè)到隱形模型中毒。

3.4.1 算法實(shí)現(xiàn)

為了更進(jìn)一步提高攻擊算法的隱蔽性，論文提出了Alternating minimization方法。

方法的具體實(shí)驗(yàn)步驟是這樣的，在每一個(gè)迭代周期中，訓(xùn)練在每一個(gè)epoch都做如下操作：首先從當(dāng)前的模型參數(shù)，最小化攻擊目標(biāo)，訓(xùn)練得到一個(gè)梯度更新。接著，利用simple boosting的思想對(duì)梯度進(jìn)行增強(qiáng)，與當(dāng)前的模型參數(shù)相加得到中間步驟的模型參數(shù)。第三步，從所得到的中間步驟的模型參數(shù)開(kāi)始，最小化之前提到的兩個(gè)隱形目標(biāo)，最終得到一個(gè)新的模型，用于下一個(gè)epoch。

攻擊方通過(guò)alternating minimization，可以使得攻擊目標(biāo)和隱身目標(biāo)都具有足夠低的損失值。因?yàn)閷⑦@兩種目標(biāo)分開(kāi)進(jìn)行獨(dú)立的訓(xùn)練，可以對(duì)較難的那個(gè)目標(biāo)進(jìn)行更多數(shù)量的steps的優(yōu)化。 論文中的實(shí)驗(yàn)發(fā)現(xiàn)，相比較于攻擊目標(biāo)，花費(fèi)更多數(shù)量的steps來(lái)優(yōu)化隱身目標(biāo)，可以實(shí)現(xiàn)更好的隱身性能，同時(shí)保證目標(biāo)中毒。

3.4.2 實(shí)驗(yàn)結(jié)果

在第一張圖中，紅色實(shí)線表示全局模型對(duì)于惡意目標(biāo)的置信度，藍(lán)色實(shí)線代表著精確度檢測(cè)過(guò)程中，服務(wù)器檢測(cè)惡意訓(xùn)練方在驗(yàn)證集上的準(zhǔn)確度，綠色線代表全局模型在檢驗(yàn)集上的準(zhǔn)確度。通過(guò)觀察紅色實(shí)線：在t=3之后，全局模型對(duì)于 由攻擊方設(shè)置的錯(cuò)誤預(yù)測(cè) 已經(jīng)有了很高的置信度。說(shuō)明使用alternating minimization方法可以實(shí)現(xiàn)攻擊的目標(biāo)。比較藍(lán)色實(shí)線和綠色實(shí)線：使用alternating minimization方法的攻擊方的模型在檢驗(yàn)集上的準(zhǔn)確度與全局模型在檢驗(yàn)集上的準(zhǔn)確度從一開(kāi)始就非常接近，所以相對(duì)于之前的simple boosting和隱身模型中毒來(lái)說(shuō)，使用alternating minimization的攻擊方在精確度檢測(cè)中更難被檢測(cè)到。

在第二張圖中，藍(lán)色是正常訓(xùn)練方的權(quán)重分布，紅色的是使用alternating minimization方法的惡意訓(xùn)練方的權(quán)重分布，攻擊方的權(quán)重更新分布與正常訓(xùn)練方的權(quán)重更新分布也很接近，所以相對(duì)之前的simple boosting方法來(lái)說(shuō)，使用alternating minimization在權(quán)重分布檢測(cè)中同樣很難被檢測(cè)到。

所以，不論服務(wù)器選擇基于精確度檢測(cè)的方法，還是基于權(quán)值分布檢測(cè)的方法，使用alternating minimization的攻擊方都有很強(qiáng)的隱形性能。

4 總結(jié)

以上就是論文所介紹的惡意訓(xùn)練方對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)進(jìn)行目標(biāo)攻擊的主要內(nèi)容。另外，論文中還嘗試使用多種用于防御惡意訓(xùn)練方的算法：比如Krum算法，以及基于坐標(biāo)中位數(shù)的聚合算法，用來(lái)防御本論文中的攻擊算法，但是實(shí)驗(yàn)結(jié)果證明這兩個(gè)防御算法都無(wú)法抵抗本篇論文中的攻擊算法。另外，本論文中的攻擊算法對(duì)于攻擊之后的全局模型的估計(jì)值是十分簡(jiǎn)單的，并沒(méi)有考慮其余正常訓(xùn)練方的梯度更新的影響，所以還可以進(jìn)一步提高攻擊算法的性能。最后，論文通過(guò)實(shí)驗(yàn)證明：即使是高度受約束的單個(gè)攻擊方也可以進(jìn)行模型中毒攻擊，同時(shí)保持隱身性。因此需要提高研究聯(lián)邦學(xué)習(xí)魯棒性以及制定有效防御策略的必要性。