論文題目：基于因果推斷的可解釋對抗防御

Towards Interpretable Defense Against Adversarial Attacks via Causal Inference

論文作者：任民（中國科學院大學，中科院自動化所），王云龍（中科院自動化所），何召鋒（北京郵電大學）

收錄期刊：Machine Intelligence Research (MIR)

論文DOI：10.1007/s11633-022-1330-7

01、研究動機

1.1 研究背景

深度學習開啟了人工智能的新時代。在這個屬于深度神經(jīng)網(wǎng)絡的“鍍金年代”中，深度學習模型在眾多任務中攻城略地，狂飆突進。然而猛然間人們卻發(fā)現(xiàn)，只需要對輸入樣本進行微小擾動（對抗攻擊），其輸出結(jié)果就會發(fā)生災難性的錯誤。這意料之外的脆弱性仿佛漂浮在晴朗天空一角的烏云，為這個時代投下了令人不安的陰影。

面對對抗攻擊帶來的威脅，一個簡單粗暴的思路首先被想到：將對抗樣本引入訓練過程，通過訓練提升神經(jīng)網(wǎng)絡的對抗魯棒性。這可以說是深度學習時代的典型解法：不需要知道模型為什么出現(xiàn)問題，只需要將出現(xiàn)錯誤的樣本引入訓練，依靠模型強大的擬合能力“記住”這些錯誤。然而這個試圖暴力破解的方法卻仿佛一拳打在了棉花上：那些引入訓練的對抗樣本確實得以解決，然而更多的對抗樣本種類卻如幽靈般浮現(xiàn)。而對抗訓練得到的模型在不同種類的對抗樣本之間的泛化性卻幾乎沒有。暴力破解、“一力降十會”在對抗樣本面前變得蒼白無力。

直到這時，也許我們才能真正體會對抗樣本投下的陰影中所透出的寒意。它不是在現(xiàn)有方法論的基礎上小修小補所能夠解決的，它是對基于統(tǒng)計觀察的“數(shù)據(jù)驅(qū)動”這一深度學習的底層邏輯的挑戰(zhàn)。

1.2 方法動機

暴力破解的失敗強迫我們靜下心來，讓我們的頭腦冷卻下來重新審視對抗樣本，它已經(jīng)被深度學習所創(chuàng)造的“輝煌”沖擊的有些過熱了。此時我們不得不正視一個現(xiàn)實，我們不理解對抗樣本，我們不明白它為什么會存在，不理解它為什么會讓強大的模型崩潰。再進一步我們還會發(fā)現(xiàn)，阻礙我們理解對抗樣本的最大絆腳石是我們不理解這些我們創(chuàng)造的深度模型，我們不明白它們?yōu)槭裁凑_、為什么錯誤。它是記住了訓練樣本嗎？還是發(fā)現(xiàn)了某種數(shù)據(jù)分布中的規(guī)律？在很長時間里我們似乎忘記了這也是一個問題，忘記了這些問題才是科學和煉金術(shù)的區(qū)別。也就是說，對抗樣本問題和模型可解釋性問題天然相關(guān)，兩者或許就是一枚硬幣的兩面。

在本篇文章中，我們采用因果推斷作為工具，試圖解釋對抗樣本使模型發(fā)生錯誤的原因。將神經(jīng)網(wǎng)絡給出的結(jié)果歸因于輸入圖像的某些子區(qū)域，即究竟是哪些區(qū)域的變化導致了模型發(fā)生錯誤。

因果推斷是一種有別于統(tǒng)計觀察的方法論。在較為傳統(tǒng)的統(tǒng)計學派“頻率派”眼中，所謂的因果、先驗都只是人類頭腦中的一種感覺，并不是真正的客觀現(xiàn)實，是對自然發(fā)生的事物的一種很可能是歪曲的認識，只有觀察到的數(shù)據(jù)本身才是唯一可靠的、絕對客觀的。這種觀點曾長期占據(jù)統(tǒng)計學的主流。而統(tǒng)計學的“異端”則是貝葉斯學派，貝葉斯將概率區(qū)分為先驗和后驗，通過先驗概率對觀察到的數(shù)據(jù)進行“糾偏”得到后驗概率。從而將人類的主觀認識引入進來。這在頻率派眼中簡直“大逆不道”，純粹客觀的觀察怎容主觀先驗玷污？然而因果推斷還要走的更遠，在因果的觀點中，變量之間不再是平等的相關(guān)關(guān)系，而是不平等的因果關(guān)系。如果我們將變量關(guān)系描述為一張圖（graph）的話，變量是節(jié)點而變量之間的關(guān)系則是邊，那么在統(tǒng)計的世界中這是一張無向圖，而在因果的世界中，這張圖一變而成為有向圖，變量之間的關(guān)系是不平等的，有向圖的邊所鏈接的變量之間就區(qū)分成了因和果。而誰是因，誰是果，就成了我們引入的最大的先驗，因為我們可以從純粹的觀察中發(fā)現(xiàn)兩個變量之間是否存在邊，卻無法得到邊的方向。以上兩種觀點，即不應引入先驗和可以引入先驗究竟誰對誰錯其實并沒有定論，兩者代表了兩種世界觀、兩種方法論。但需要指出的是，因果的方法天然適合人類理解，也天然適合解釋模型的行為。

深度學習的大廈基本上是建立在統(tǒng)計的方法論基礎上的，訓練模型就是是“觀察”大量數(shù)據(jù)得到相關(guān)關(guān)系的過程。在面對對抗樣本對其底層邏輯的挑戰(zhàn)時，本文訴諸于因果的方法論，從解釋對抗樣本入手，跳出深度學習的“五行之外”看深度學習和對抗樣本。

02、對抗樣本的因果效應估計

2.1 建立因果圖

首先是建立因果模型，即將我們對于這個問題的先驗認識形式化地表達出來。本文采用因果圖（Causal Graph）的形式，這是一種常用的因果模型的表現(xiàn)形式。在這個圖中，節(jié)點表示變量，有向的邊表示變量之間的因果關(guān)系，箭頭的方向是從因指向果。

本文建立的因果圖如圖三所示。其中y為模型的輸出，x’1 ... x’n表示對抗樣本的n個子區(qū)域，x1 ... xn表示添加對抗擾動之前的原始樣本的n個子區(qū)域，A表示對抗攻擊方法，另外有兩個隱含變量也表示在圖中，即Z和R，這兩個隱含變量表示了原始樣本的因，其中Z表示與任務標簽相關(guān)的因，R則表示與任務標簽無關(guān)的因，例如在分類任務中，Z就代表了樣本的真實類別，而R則代表與分類任務無關(guān)的背景、噪聲等等因素的總和。

2.2 基于干預的因果效應估計

在上述因果圖中，只有對抗樣本x’1 ... x’n、模型輸出y是可見的，其余變量均不可見。當我們試圖估計對抗樣本的某個子區(qū)域x'i對與模型輸出y的因果效應時，我們會發(fā)現(xiàn)，不可見的變量對兩者而言是混雜因子，即如果在統(tǒng)計時不加以控制，就不能正確地得到兩者之間的因果效應。而這些混雜因子卻都因為不可見而無法控制。此時，我們發(fā)現(xiàn)單純的“觀察”已經(jīng)無法實現(xiàn)我們的目標了。

因此我們采用“干預”的方法來估計x'i與模型輸出y的因果效應。我們?nèi)藶榈貏?chuàng)造出一個反事實樣本，在這個樣本中x'i被去除，該反事實樣本同樣可以通過模型得到輸出yi，此時我們比較原本的輸出y與yi就可以有效地估計x'i對于y的平均因果效應，如圖四所示。

這一簡單直接的想法卻有一個前提，那就是我們真的能夠在完全不影響其他子區(qū)域的條件下去除圖像中的某個子區(qū)域。卷積神經(jīng)網(wǎng)絡（CNNs）顯然做不到這一點，其輸入必須是規(guī)則的矩形數(shù)據(jù)。幸運的是，從自然語言處理領(lǐng)域發(fā)展而來的Vision Transformer（ViT）為我們提供了趁手的工具。由于自然語言數(shù)據(jù)沒有固定的長度，Transformer必須要能夠處理不定長的輸入，由此，ViT同樣可以處理不定長的token，即圖像子區(qū)域。

2.3 可視化

上述方法估計得到的因果效應可以通過可視化直觀的表達出來，如圖五所示。

通過觀察對抗樣本的因果效應，我們至少可以發(fā)現(xiàn)以下幾個現(xiàn)象：

1. 與干凈樣本相比，對抗樣本中對輸出具有正向因果效應的子區(qū)域更加稀疏；

2. 與干凈樣本相比，對抗樣本的因果效應連續(xù)性更差，相鄰的子區(qū)域很可能具有完全相反的因果效應，一個有利于增強當前輸出，另一個有利于削弱當前輸出；

3. 對抗樣本中具有正向因果效應的子區(qū)域通常分布在原本就紋理豐富的區(qū)域，而非干凈的背景等區(qū)域，這說明對抗樣本往往對已有的圖像內(nèi)容加以修改而非無中生有。

相關(guān)的定量統(tǒng)計體現(xiàn)在Table 1中。其中mS為平均稀疏性度量，mTV則為平均連續(xù)性度量，具體計算方法可以參考我們的原文。

03、基于因果效應的對抗防御

3.1 對抗樣本檢測

在對對抗樣本的因果效應進行了一定程度的分析之后，我們不難在此基礎上提出應對對抗樣本的方法。我們不需要對識別模型進行任何改動，不需要大費周章地將對抗樣本引入訓練過程。基于上述關(guān)于對抗樣本正向因果效益稀疏性的現(xiàn)象，我們將樣本的所有子區(qū)域分為幾個小組，分別送給識別模型進行處理，最終將得到的幾個結(jié)果與全圖送入識別模型得到的結(jié)果進行比較，如果與全圖的結(jié)果出現(xiàn)明顯差異，則拒絕處理。

這一十分簡單的策略就已經(jīng)超越了很多現(xiàn)有的方法，如Table3和Table4所示。這就是深入的認識帶來的優(yōu)雅。更多的實驗分析包括關(guān)于Adaptive attack的實驗可以參考原文。

3.2 對抗樣本識別

最近，物理世界的對抗攻擊逐漸引起了人們的重視。對一般的對抗樣本不同，物理世界的對抗攻擊樣本往往不對擾動的大小進行限制，而是對圖像的某些子區(qū)域進行大幅修改。這類攻擊方法不僅大大降低了對抗攻擊的成本，也給現(xiàn)實生活中的人工智能系統(tǒng)帶來了真實的威脅，如圖六所示。

我們基于上述分析，提出一種簡單有效的對抗樣本識別方法。仍然將樣本的所有子區(qū)域分為幾個小組，分別送給識別模型進行處理，最終將得到的幾個結(jié)果進行投票。實驗證明這一簡單的策略能夠有效提升模型應對物理對抗攻擊的能力。

04、總結(jié)

所謂“反者道之動”，深度學習發(fā)展到今天，已經(jīng)在統(tǒng)計觀察的道路上走向極致，前所未有的大數(shù)據(jù)，前所未有的大模型，讓統(tǒng)計機器學習獲得了巨大的能量。但那些來源于統(tǒng)計本身的問題，最終將把我們推向其反面去尋求答案。本文只是對對抗樣本的一次粗淺的研究，但其帶來但啟發(fā)卻值得研究者們深思。

致謝

本研究成果得到了中國人工智能學會-華為MindSpore學術(shù)獎勵基金的資助。

MindSpore官網(wǎng)：https://www.mindspore.cn/