可解釋性一直是人工智能中一個研究方向。在修改了N次神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卻遲遲得不到自己想要的效果的時候，為什么不停下來看看這個似乎挺哲學(xué)的領(lǐng)域呢？不過這次還是不談?wù)軐W(xué)（例如談什么“理解先于解釋”，然后扯一大堆之類的），還是用通俗的話說說可解釋性的問題。

主要是依據(jù)下面這本書。這本書我是大體瀏覽了一遍，一些太具體的算法倒沒有仔細看，而且因為之前很多東西也都知道，所以看的還是蠻快的。

1.為什么我們需要可解釋性

這個問題雖然很泛，但是在具體問題上還是很好回答的。例如，對于程序員來說，可解釋性很多時候指的是我的算法為什么對于一個給定輸入會得到某個輸出；對于從業(yè)人員來說，他想要的是用最通俗的說法解釋一個算法的原理。

可解釋性在不同領(lǐng)域的重要程度是不一樣的。如果你只是為了打kaggle競賽，那準確率似乎是你追求的唯一目標(biāo)。但是如果你是給自動駕駛寫視覺識別的，那一個微小的判斷失誤都會導(dǎo)致嚴重的問題。

可解釋性的研究之所以存在，是因為現(xiàn)在主流的神經(jīng)網(wǎng)絡(luò)方法是黑箱模型。神經(jīng)網(wǎng)絡(luò)有著強大的性能，神經(jīng)網(wǎng)絡(luò)的原理說起來似乎也很簡單，但由于其參數(shù)眾多、結(jié)構(gòu)過于復(fù)雜，導(dǎo)致我們無法很直觀的理解整個模型的運作，所以神經(jīng)網(wǎng)絡(luò)一般被認為是黑箱模型。但神經(jīng)網(wǎng)絡(luò)總要被投入應(yīng)用，所以可解釋性問題就應(yīng)運而生。

可解釋性在機器學(xué)習(xí)領(lǐng)域也有很多不同的說法。例如我們一般認為樹模型具有很好的解釋性，具體可以看以下專欄的決策樹部分：

【花師小哲】面向一般大眾的神經(jīng)網(wǎng)絡(luò)科普（3）-CV圖像和其他

但也有人認為樹模型中的“隨機森林”是不可解釋的（隨機森林是這樣一種算法，即先構(gòu)造一大堆決策樹，然后通過投票等方式匯總出一個最終結(jié)果），因為要搞清楚決策樹之間的協(xié)作是很困難的。

最后，就是因為關(guān)于人工智能的可解釋性研究，很多國家（包括我國）都出臺了很多政策了，很多算法要實用起來，必須考慮其可解釋性。

2.什么是可解釋性

這本書說了很重要的一個點，即構(gòu)造信任：

如圖所示，大體意思是說如果我們能夠很好的理解一個算法能夠做什么和不能夠做什么，我們就可以和算法建立信任關(guān)系。

這一點的看法很好，這表明了可解釋性問題是和人類經(jīng)驗是離不開關(guān)系的，究竟什么是完成了可解釋性是取決于人的。可解釋性研究實際上是盡量保證人的認知和機器的“認知”一致的過程。

這個過程不只需要我們通過某種方法使得機器的“認知”更易被人類理解，也要我們主動去從算法中發(fā)現(xiàn)一些東西，這樣，可解釋性才算成立。

3.可解釋性具體怎么研究

在A Survey on Neural Network Interpretability這篇綜述中作者從三個維度說明了可解釋研究的方法分類：

維度1：主動或被動。主要看算法時候需要修改需要解釋的模型

維度2：按可解釋性逐漸增加分為樣例、（屬性）貢獻度或權(quán)重、隱藏層表示和規(guī)則。規(guī)則被認為解釋性是最強的

維度3：從整體還是局部進行解釋

根據(jù)這三個維度就有了以下更細粒度的分類：

太具體的就不展開講了，這里就發(fā)出來讓大家了解一下。

4.對抗樣本和魯棒性

對抗樣本指的是，我們可以構(gòu)造出一個樣本，使得我們的算法沒有得到正確的輸出。這部分的例子也在其他專欄講過了，例如：

【花師小哲】面向一般大眾的神經(jīng)網(wǎng)絡(luò)科普（3）-CV圖像和其他

對抗樣本的出現(xiàn)說明作為黑箱的神經(jīng)網(wǎng)絡(luò)確實會出現(xiàn)以外和“失控”的情況，包括最近很火的ChatGPT（極大概率）也是對這方面做了特殊處理以防止“失控”的（當(dāng)然，仍然有辦法讓它“失控”就是了）。研究對抗樣本的規(guī)律也是研究可解釋性的輔助工作。

另一個和對抗樣本相關(guān)的就是魯棒性，不過這里就不再展開。

5.可解釋性的未來

可以預(yù)見，可解釋性在未來一段時間仍然是人工智能研究的一個重要方向，但可解釋性依然是非常混亂的一個領(lǐng)域，沒有很多規(guī)范性的東西，而且也沒有明確的發(fā)展方向，是一個充滿了不確定性的方向。

不過，人機協(xié)作可能是一個基本上擺到明面上的出路了，畢竟東西是給人理解的，現(xiàn)在人工智能發(fā)展也很講人機協(xié)作（所以腦機接口它又又又火了一下（但腦機接口每次也都沒有太大火，可能是因為不像CV、NLP領(lǐng)域一樣，一般人看不見摸不著吧））。

說的比較泛，主要是也比較忙，以后還是有具體的好玩的論文的時候再說些具體的。