機(jī)器學(xué)習(xí)的特征，便是從特定類型的數(shù)據(jù)中尋找規(guī)律。在大數(shù)據(jù)，算法模型，計(jì)算力三駕馬車的推動(dòng)下，以深度學(xué)習(xí)為核心的新一代人工智能，從語音識(shí)別到語言翻譯，從下圍棋的機(jī)器人到自動(dòng)駕駛汽車，各行各業(yè)都在該技術(shù)的驅(qū)動(dòng)下出現(xiàn)了新的突破。然而，在現(xiàn)代機(jī)器學(xué)習(xí)算法中，可解釋性與精確度卻難以兩全其美。深度學(xué)習(xí)精確度最高，同時(shí)可解釋性最低。—— 我們雖然知道神經(jīng)網(wǎng)絡(luò)在『做什么』，但我們對(duì)『怎么做、為何做』幾乎一無所知。正如下圖：X 軸為可解釋性（Explain Ability），Y 軸為預(yù)測精確率（Prediction Accuracy）—— 其中決策樹（Decision Tree）的可解釋性最高，然而預(yù)測精確率卻最低。

日前，Two Sigma 人工智能工程師? Xiang Zhou 概述了幾種方法來理解機(jī)器學(xué)習(xí)模型如何得到它們所做的答案以及它們的相對(duì)優(yōu)點(diǎn)和缺點(diǎn) ——

• Partial Dependence Plot (PDP)；

• Individual Conditional Expectation (ICE)

• Permuted Feature Importance

• Global Surrogate

• Local Surrogate (LIME)

• Shapley Value (SHAP)

Partial Dependence Plot (PDP)

PDP 是十幾年之前發(fā)明的，它可以顯示一個(gè)或兩個(gè)特征對(duì)機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果的邊際效應(yīng)。它可以幫助研究人員確定當(dāng)大量特征調(diào)整時(shí)，模型預(yù)測會(huì)發(fā)生什么樣的變化。

如上圖所示，軸表示特征的值，軸表示預(yù)測值。陰影區(qū)域中的實(shí)線顯示了平均預(yù)測如何隨著值的變化而變化。PDP 能很直觀地顯示平均邊際效應(yīng)，因此可能會(huì)隱藏異質(zhì)效應(yīng)。例如：一個(gè)特征可能與一半數(shù)據(jù)的預(yù)測正相關(guān)，與另一半數(shù)據(jù)負(fù)相關(guān)。那么 PDP 圖將只是一條水平線。

Individual Conditional Expectation (ICE)

ICE 和 PDP 非常相似，但和 PDP 不同之處在于，PDP 繪制的是平均情況，但是 ICE 會(huì)顯示每個(gè)實(shí)例的情況。ICE 可以幫助我們解釋一個(gè)特定的特征改變時(shí)，模型的預(yù)測會(huì)怎么變化。

如上圖所示，與 PDP 不同，ICE 曲線可以揭示異質(zhì)關(guān)系。但其最大的問題在于：它不能像 PDP 那樣容易看到平均效果，所以可以考慮將二者結(jié)合起來一起使用。

Permuted Feature Importance

Permuted Feature Importance 的特征重要性是通過特征值打亂后模型預(yù)測誤差的變化得到的。換句話說，Permuted Feature Importance 有助于定義模型中的特征對(duì)最終預(yù)測做出貢獻(xiàn)的大小。

如上圖所示，特征 f2 在特征的最上面，對(duì)模型的誤差影響是最大的，f1 在打亂之后對(duì)模型卻幾乎沒什么影響，剩下的特征則對(duì)于模型是負(fù)面的貢獻(xiàn)。

Global Surrogate

Global Surrogate 方法采用不同的方法。它通過訓(xùn)練一個(gè)可解釋的模型來近似黑盒模型的預(yù)測。首先，我們使用經(jīng)過訓(xùn)練的黑盒模型對(duì)數(shù)據(jù)集進(jìn)行預(yù)測；然后我們?cè)谠摂?shù)據(jù)集和預(yù)測上訓(xùn)練可解釋的模型。訓(xùn)練好的可解釋模型可以近似原始模型，我們需要做的就是解釋該模型。其中，代理模型可以是任何可解釋的模型：線性模型、決策樹、人類定義的規(guī)則等。

使用可解釋的模型來近似黑盒模型會(huì)引入額外的誤差，但額外的誤差可以通過 R 平方來衡量。由于代理模型僅根據(jù)黑盒模型的預(yù)測而不是真實(shí)結(jié)果進(jìn)行訓(xùn)練，因此全局代理模型只能解釋黑盒模型，而不能解釋數(shù)據(jù)。

Local Surrogate (LIME)

LIME（Local Interpretable Model-agnostic Explanations）和 Global Surrogate?是不同的，因?yàn)樗粐L試解釋整個(gè)模型。相反，它訓(xùn)練可解釋的模型來近似單個(gè)預(yù)測。LIME 試圖了解當(dāng)我們擾亂數(shù)據(jù)樣本時(shí)預(yù)測是如何變化的。

上面左邊的圖像被分成可解釋的部分。然后，LIME 通過 “關(guān)閉” 一些可解釋的組件（在這種情況下，使它們變灰）來生成擾動(dòng)實(shí)例的數(shù)據(jù)集。對(duì)于每個(gè)擾動(dòng)實(shí)例，可以使用經(jīng)過訓(xùn)練的模型來獲取圖像中存在樹蛙的概率，然后在該數(shù)據(jù)集上學(xué)習(xí)局部加權(quán)線性模型。最后，使用具有最高正向權(quán)重的成分來作為解釋。

Shapley Value (SHAP)

Shapley Value 的概念來自博弈論。我們可以通過假設(shè)實(shí)例的每個(gè)特征值是游戲中的 “玩家” 來解釋預(yù)測。每個(gè)玩家的貢獻(xiàn)是通過在其余玩家的所有子集中添加和刪除玩家來衡量的。一名球員的 Shapley Value 是其所有貢獻(xiàn)的加權(quán)總和。Shapley 值是可加的，局部準(zhǔn)確的。如果將所有特征的 Shapley 值加起來，再加上基值，即預(yù)測平均值，您將得到準(zhǔn)確的預(yù)測值。這是許多其他方法所沒有的功能。

該圖顯示了每個(gè)特征的 Shapley 值，表示將模型結(jié)果從基礎(chǔ)值推到最終預(yù)測的貢獻(xiàn)。紅色表示正面貢獻(xiàn)，藍(lán)色表示負(fù)面貢獻(xiàn)。

下表總結(jié)了本文中涉及的方法，按復(fù)雜度從最小到最大排序 ——

研究人員應(yīng)該如何決定哪種方法是最好的一個(gè)給定的問題？記住以下三點(diǎn) ——

• 你是需要理解模型的整個(gè)邏輯，還是只關(guān)心特定決策的原因?這將幫助您決定是要全局方法還是局部方法。

• 你的時(shí)間限制是多少？如果用戶需要迅速作出決定（例如，可能即將發(fā)生自然災(zāi)害，公共官員必須評(píng)估可能的應(yīng)對(duì)措施），最好有一個(gè)簡單易懂的解釋。但如果決策時(shí)間不是一個(gè)限制（例如，在發(fā)放貸款的過程中），人們可能更喜歡一個(gè)更復(fù)雜、更詳盡的解釋。

• 用戶的專業(yè)水平是多少？預(yù)測模型的使用者在任務(wù)中可能有不同的背景知識(shí)和經(jīng)驗(yàn)。他們可以是決策者、科學(xué)家、工程師等等。了解任務(wù)中的用戶體驗(yàn)是感知模型可解釋性的一個(gè)關(guān)鍵方面。領(lǐng)域?qū)＜铱赡芟矚g更復(fù)雜的解釋，而其他人可能想要一個(gè)容易理解和記住的解釋。

基于目前流行的機(jī)器學(xué)習(xí)模型可解釋性工具，跨象乘云???分別發(fā)布了《心臟病誘因機(jī)器學(xué)習(xí)模型可解釋性分析》與《可解釋性宮頸癌活檢診斷》兩個(gè)面向機(jī)器學(xué)習(xí)在智能醫(yī)療、機(jī)器診斷協(xié)作上的實(shí)踐應(yīng)用案例。通過對(duì)特征重要度、PDP、SHAP 等關(guān)鍵指標(biāo)的分析，幫助你了解機(jī)器學(xué)習(xí)模型的決策過程，進(jìn)一步加深對(duì)機(jī)器學(xué)習(xí)模型工作原理的理解，并且能通過繪制具有交互式的絢麗圖形對(duì)模型的決策過程進(jìn)行專業(yè)而直觀的解讀。

隨著人口增長，通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等新一代智能化技術(shù)實(shí)現(xiàn)醫(yī)療診斷輔助已經(jīng)越來越普遍。然而，對(duì)于醫(yī)療領(lǐng)域而言，由于缺乏可解釋性判斷決策依據(jù)，限制了機(jī)器學(xué)習(xí)模型智能化進(jìn)一步在醫(yī)療領(lǐng)域內(nèi)的多元化應(yīng)用拓展。可解釋性機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，無疑為機(jī)器學(xué)習(xí)模型的預(yù)測與判斷提供線索，有望突破其在醫(yī)療領(lǐng)域內(nèi)的束縛，協(xié)助人類醫(yī)療工作者實(shí)現(xiàn)更為高效精準(zhǔn)的診斷。

以上項(xiàng)目案例已發(fā)布至企業(yè)知識(shí)微店，個(gè)人用戶獲取視頻內(nèi)相關(guān)代碼與數(shù)據(jù)集，請(qǐng)掃描下方二維碼關(guān)注或訂閱。

參考文獻(xiàn)：https://www.twosigma.com/articles/interpretability-methods-in-machine-learning-a-brief-survey/

參考文獻(xiàn)：https://mp.weixin.qq.com/s/2ygv3P93gN7wDA4N8NpcIg?