2020 年 6 月 24 日北京智源大會上，微眾銀行 CAIO，兼香港科技大學講席教授楊強做了題為《AI 的新三定律：隱私、安全和可解釋性》的報告分享。楊強教授在開場便引用了《機械公敵》作者阿西莫夫所撰寫的三大機器人定律，分別為：

• 第一定律：機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手不管

• 第二定律：機器人必須服從人給予它的命令，當該命令與第一定律沖突時例外

• 第三定律：機器人在不違反第一、第二定律的情況下要盡可能保護自己的生存

他解釋道，人工智能的下一步是離不開人的。以 AlphaGo 為例，人類工程師會為其進行 Debug，但它還是會下錯棋、下臭棋。這就意味著必須要有人監(jiān)管其結果，才能實現(xiàn)保證人工智能得出正確的結論。

楊強認為，AI 的模型和系統(tǒng)在設計的時候就沒有把人考慮進來，進而生成了一個全自動的過程，包括后面發(fā)展出來的 Self-supervised Learning 和 AlphaGo Zero。他特意講到 “這就并不是今天我們在工業(yè)和社會上大家所想看到的。”

根據(jù)這個結果，楊強認為既然人工智能誕生于數(shù)據(jù)中，那么在創(chuàng)造它的時候就應該啟用新的三大定律：人工智能需要保護人的隱私、人工智能需要保護模型的安全、人工智能需要人類伙伴的理解。這也就意味著，人工智能不能脫離人去發(fā)展，需要讓人和人工智能形成協(xié)作關系。

新三大定律之一：需要保護人的隱私

受此啟發(fā)，楊強團隊也開始了聯(lián)邦學習的嘗試，為此還推出了一本同名的書 ——《聯(lián)邦學習》。其主要思想是可以總結為數(shù)據(jù)可以保持在原地，但模型通過孤島不同機構之間加密的情況下的溝通，這個模型就會成長起來，效果就是這個數(shù)據(jù)可以被使用，但是各方都看不見對方的數(shù)據(jù)。用剪短的話概括聯(lián)邦學習：數(shù)據(jù)不動模型動，數(shù)據(jù)可用不可見。

楊強表示，這種做法聽起來天方夜譚，不過在技術上還真的可以做到。他把模型比喻為養(yǎng)羊，過去是從各個草場里運草過來喂羊，這個過程就是數(shù)據(jù)聚合過程。然而由于數(shù)據(jù)會離開其本身所處的數(shù)據(jù)庫，因此各種各樣的漏洞使得數(shù)據(jù)本身的隱私得到泄露。現(xiàn)在則是要讓這個羊走動起來，模型去訪問不同的草場，那么這個草就不用出本地了，這個羊也得到了壯大。

無獨有偶，楊強又講到了一個 Google 的例子。這家公司在 2016 年提出一個做法，叫做聯(lián)邦平均 Federated Averaging，就是往云端傳遞的消息只包含模型的參數(shù)，并且是受到加密的保護，那么在云端就得到了一個更新，這個更新在這里是求一個平均值，更新后的模型就被下發(fā)到了各個終端，使得每個終端上面的模型得到更新，整個的過程動不泄露本地的隱私，也不泄露模型的參數(shù) W1 到 WN，因此這種做法就被賦予用在 Android 系統(tǒng)。
聯(lián)邦平均的關鍵技術就是加密和解密的算法，能夠保護自己包進去的數(shù)據(jù)。這個數(shù)據(jù)可能本身是原始數(shù)據(jù)或者模型參數(shù)，而且還允許在加密層只上進行一系列的數(shù)學操作和數(shù)學運算，現(xiàn)在有一種加密的方法使得云端聚合和更新的效果可以在不暴露數(shù)據(jù)本身內容的情況下進行。

楊強補充道，聯(lián)邦學習通過樣本和特征的不同，可以分為縱向和橫向兩種聯(lián)邦學習方式。不過無論是哪種類型的切割，都已在商用中發(fā)揮了巨大的功效。2019 年 6 月 28 日中國人工智能開源軟件發(fā)展聯(lián)盟 (AIOSS) 正式出臺國內首個關于聯(lián)邦學習的團體規(guī)范標準，《信息技術服務 聯(lián)邦學習 參考架構》。而 IEEE 很快也會出臺一個關于聯(lián)邦學習的國際標準，在世界范圍內推動聯(lián)邦學習發(fā)展是利好。

新三大定律之二：需要保護模型的安全

可就算保護了數(shù)據(jù)的隱私，不過仍然不能防止數(shù)據(jù)本身被污染。楊強教授繼續(xù)往下說著，可能被攻擊的就是訓練數(shù)據(jù)本身，叫做數(shù)據(jù)下毒，可能對模型進行攻擊，也就是說模型的隱私可能會被泄露，測試數(shù)據(jù)可能會做假，模型本身可能是沒有辦法識別，這也相當于對模型的攻擊。
訓練下毒攻擊可以叫做 Data Poisoning 毒化數(shù)據(jù)，可以在訓練數(shù)據(jù)當中植入后門。Stop Sign 上面有一個黃色的像素點，對于這個攻擊者來說是植入了訓練數(shù)據(jù)，以致于這個模型見到了黃色的點就不顧其余了，沒有把這個 Stop Sign 正確地說出來，車就直接開過去了沒有 Stop，行人就會出事，就是這種惡意的攻擊。

如圖所示，Stop 標識牌下的黃色像素點

楊強指出，這個現(xiàn)象也有各種各樣的解決方案，比如一種就是對抗測試樣本，也是對原始數(shù)據(jù)進行一些擾動，使得我們證明模型具有一定的魯棒性，也就是說這個小的領域當中要求是模型的輸出必須一致，里面還有大量其它的工作。
最近 MIT 韓松教授正式證明了這一點，去年的深度泄露攻擊 Deep Leak 意思就是當人們在多方溝通模型的 Gradient 梯度的時候，即使這個梯度當中是部分加密的，部分加噪的，對方還是不同程度地可以學到原始數(shù)據(jù)。這里做的實驗有兩個結論：噪音加得多對方學到的少，同時效果也會變差。楊強教授說，“真的變成了讓人非常苦惱的事情。”

通過可解釋人工智能，判斷出原始模型維和將哈士奇識別為狼

新三大定律之三：需要人類伙伴的理解

可解釋性分為兩個部分：第一就是要讓人明白在做什么，第二就是要讓不同背景的人用不同的方式去明白。楊強以銀行的AI風險評估算法為例，指出其既要讓監(jiān)管方和銀監(jiān)理解，即對銀監(jiān)解釋整個結果產(chǎn)出的邏輯，又要對系統(tǒng)開發(fā)的工程師可解釋，使得工程師隨時能夠進入系統(tǒng)去進行改進，此外對貸款的申請人要能夠解釋得到的結果。

IEEE 新成立了一個可解釋人工智能的標準組，與此同時業(yè)界也出現(xiàn)了很多關于可解釋人工智能的相關研究。業(yè)內對于可解釋人工智能的定義為：模型本身要可解釋，學習更多結構化、可解釋、具有因果關系的模型。通過可解釋人工智能，工程師、用戶等多方參與者，都可以了解到模型的運行模式，從而強化人工智能的魯棒性，以此來抗擊噪點、下毒等多種攻擊手段。

楊強最后補充說：“人工智能的發(fā)展不僅要芯片、數(shù)據(jù)和算法，同時也要注意人，我們要保護人的隱私，保護模型的安全，保證對人類可以解釋?！?/strong>