原創(chuàng) | 文 BFT機器人

摘要
ABSTRACT

這篇論文研究了神經網絡和其他機器學習模型在錯誤分類對抗性示例方面的問題。對抗性示例是通過對數據中的示例應用微小但故意的擾動來生成的，導致模型輸出錯誤答案。以往的解釋主要集中在非線性和過擬合上，然而，本文提出了一種不同的觀點，認為神經網絡易受對抗性擾動影響的主要原因是其線性特性。這個觀點得到了新的定量結果的支持，同時也首次解釋了這種現象的跨架構和跨訓練集泛化的特點。此外，研究者基于這個觀點提出了一種簡單而快速的生成對抗性示例的方法。通過將這種方法應用于對抗性訓練，他們在MNIST數據集上的maxout網絡測試中減少了測試集誤差。

01
介紹

這節(jié)介紹了一個有趣的發(fā)現，即最先進的神經網絡和其他機器學習模型，包括那些采用深度學習方法的，很容易受到對抗性示例的影響。對抗性示例是一種在輸入數據中故意引入微小擾動，以使模型產生錯誤分類的現象。論文指出，這些機器學習模型在錯誤分類的對抗性示例與正確分類的原始示例之間的差異很小。即使是使用不同架構在不同子集上訓練的模型也可能對相同的對抗性示例產生錯誤分類，這揭示了訓練算法中的盲點。

研究者認為對抗性示例揭示了現有訓練算法的局限性。雖然一些推測認為這可能是因為深度神經網絡的極端非線性特性，或者模型平均和正則化等問題，但論文證明了這些假設是不必要的。事實上，高維空間中的線性行為就足以產生對抗性示例?；谶@一觀點，研究者提出了一種快速生成對抗性示例的方法，并且強調對抗性訓練具有實用性。此外，他們指出，除了常用的正則化策略如dropout、預訓練和模型平均外，對抗性訓練可以提供額外的正則化好處。然而，常見的正則化方法并不能顯著降低模型對對抗性示例的脆弱性，但將模型從非線性轉變?yōu)轭愃芌BF網絡這樣的非線性模型族可以實現這一點。

解釋表明，在易于訓練的線性模型與抵抗對抗性擾動的非線性模型之間存在一種緊張的平衡關系。最終，論文提出，通過設計更強大的優(yōu)化方法，可以成功地訓練更多的非線性模型，從而可能避免這種平衡。

02
相關工作

Szegedy等人演示了神經網絡和相關模型的各種有趣的特性。與本文最相關的包括：

• l 盒約束L-BFGS可以可靠地找到對抗性示例。

• l 在一些數據集上，如ImageNet (Deng et al .， 2009)，對抗性示例與原始示例非常接近，以至于人眼無法區(qū)分差異。

• l 相同的對抗性示例經常被具有不同架構的各種分類器錯誤分類，或者在訓練數據的不同子集上進行訓練。

• l?淺層softmax回歸模型也容易受到對抗性示例的影響

• l 對抗性示例的訓練可以使模型正則化——然而，由于需要在內環(huán)中進行昂貴的約束優(yōu)化，這在當時是不切實際的。

這些結果表明，現代機器學習技術所構建的分類器，即使在測試集上表現出色，仍然未能真正學習決定正確輸出標簽的潛在概念。相反，這些算法似乎建立在一個局限的范圍內，可以有效處理自然數據，但在處理概率較低的數據空間點時表現不佳。這一點尤其令人失望，因為流行的計算機視覺方法使用卷積神經網絡特征來近似感知距離，而如果擁有微小感知距離的圖像對應于網絡表示中完全不同的類別，那么這種相似性度量顯然存在缺陷。

03
對抗性例子的線性解釋

在許多問題中，單個輸入特征的精度是有限的。例如，數字圖像通常每像素只使用8位，因此它們丟棄動態(tài)范圍1/255以下的所有信息。由于特征的精度是有限的，如果擾動η的每個元素都小于特征的精度，那么分類器對輸入x的響應不同于對抗性輸入?x: = x + η是不合理的。形式上，對于類分離良好的問題，我們期望分類器將相同的類分配給x和，只要||η||∞小到足以被與我們的問題相關的傳感器或數據存儲設備丟棄。

考慮一個權向量w和一個對抗性例子?x:之間的點積:

?

對抗性擾動使活化增大

這個解釋表明，如果一個簡單的線性模型的輸入有足夠的維數，它可以有對抗性的例子。先前對抗性例子的解釋援引了神經網絡的假設屬性，例如它們假定的高度非線性性質。我們基于線性的假設更簡單，也可以解釋為什么softmax回歸容易受到對抗性示例的影響。

04
非線性模型的線性擾動?

設θ為模型的參數，x為模型的輸入，y為與x相關的目標(對于有目標的機器學習任務)，J(θ， x, y)為用于訓練神經網絡的成本。

我圍繞θ的當前值線性化代價函數，得到最優(yōu)的最大范數約束擾動

?

實驗證明了作者假設的對抗樣本的產生原因是由于模型的線性特性。同時，這種算法也可作為一種加速對抗訓練的方法。

05
線性模型與權重衰減的對抗性訓練

考慮的最簡單的模型是邏輯回歸。在這種情況下，快速梯度符號法是精確的。我們可以用這個例子來直觀地了解如何在一個簡單的設置中生成對抗性示例。圖示見圖2。

如果我們訓練一個單一模型來識別標簽y∈{?1,1}，P (y = 1) =?

其中σ(z)為logistics型函數，則訓練由梯度下降組成

06
深度網絡的對抗性訓練

通過對抗性和干凈樣例的混合訓練，神經網絡可以在一定程度上進行正則化。對抗性示例的訓練與其他數據增強方案有所不同;通常，使用轉換(例如預期在測試集中實際發(fā)生的翻譯)來增加數據。這種形式的數據增強使用不太可能自然發(fā)生的輸入，但暴露了模型概念化其決策函數的方式中的缺陷。當時，這個程序從未被證明可以在最先進的基準上提高輟學率。然而，這部分是因為很難對基于L-BFGS的昂貴對抗性示例進行廣泛的實驗。

我們發(fā)現基于快速梯度符號方法的對抗性目標函數訓練是一種有效的正則化器:

07
對抗樣本泛化原因

上圖表明，?通過嘗試不同的?值，我們發(fā)現對抗性示例出現在由快速梯度符號方法定義的1-D子空間的連續(xù)區(qū)域中，而不是在局部極值附近。這解釋了為什么對抗性示例如此普遍，以及為什么一個分類器錯誤分類的示例被另一個分類器錯誤分類的概率相當高。

為了解釋多個分類器將相同類別分配給對抗性示例的現象，假設使用當前方法訓練的神經網絡類似于在相同訓練集上訓練的線性分類器。即使在不同子集上訓練，這個基準分類器能夠學習類似的分類權重，這是機器學習算法泛化的結果。這些底層分類權重的穩(wěn)定性反過來導致對抗性示例的穩(wěn)定性。

作者 | 不加糖

排版?|?春花

審核?| 柒柒

若您對該文章內容有任何疑問，請于我們聯系，將及時回應，想獲得更多第一資訊請關注微信公眾號：智能機器人研究