本文轉載自公眾號：【圖與推薦】

模型可解釋問題一向都是一個玄學問題，主要核心問題在于怎么評估一個好的模型解釋器。

在以往的工作中，圖解釋性模型往往是取一個邊集合，并且將邊集合得到的子圖預測結果與真實標簽做對比然后算一個acc，然而，本文作者則認為如果將解釋結果與真實情況對比的話實際上并不是特別靠譜。

因此，本文主要提出了幾種更貼切于解釋性方法的評估數據，包括感染檢測，社區(qū)檢測，負樣本評估。

論文地址：https://dl.acm.org/doi/pdf/10.1145/3447548.3467283

Introduction

首先先介紹一下圖解釋性模型的流程。目前的圖解釋性模型基本是后驗型的，即先有一個訓練好的模型，然后用一種解釋性方法，去看哪些子結構是可以對結果有突出性貢獻的，模型流程圖如下：

設真實標簽描述的邊集合是，即需要被解釋的邊集合，而GNN采用了集合的邊做分類預測。此時，解釋器應該是去描述這個的集合，而不是直接和其標準標簽做對比。

最近的一些解釋性工作在設計數據集評估的時候大概率會忽略這些問題，因此這篇文章分析了為什么這些已有評估方法不大行的原因，并且針對這些原因提出了新的解釋性數據集。

Method

可能面臨的問題

1. 偏差項

在一些情況下，GNN模型本身可能僅學習了一種分類的表征，即這種情況下，也就是對于另一個分類結果，模型根本不會管原始標簽下的邊是怎么樣的。

這個時候任何現(xiàn)有的解釋器都不應當解釋出結果。作者采用了CYCLIQ數據集作為例子。這個數據集是一個圖的二分類數據，目標是區(qū)分環(huán)形和團形圖。

黃色的線表示模型預測時使用的結構，實線表示真實標簽用到的僅僅是一個環(huán)的邊集合，表示模型認為環(huán)是團形圖的特殊情況，這樣也會造成對環(huán)這個標簽的準確率不高。

因此，這種判斷方法會導致偏差。對于解釋性模型，就不能夠對預測結果進行準確評估了。

2. 多余的結構

多余的結構是指邊集合不唯一，可能還存在一個也是對當前預測的解釋，甚至存在不相交的集合。舉一個Tree-Cycle的模擬數據作為例子，模型需要判斷圖中的節(jié)點是屬于樹形圖的還是環(huán)形圖的。

作者認為這個數據用2層GNN就能夠達到和3層GNN一樣的效果，這意味著圖網絡不需要再去尋找2跳以后的結構信息。因此，作者認為這種多跳會引入額外的邊信息，并且會干擾到真正有用的結構信息的選擇，這就是多余的結構。

基于這種分析，作者認為benchmark需要是唯一的邊集合（PS：個人感覺這個觀點可能有點問題，在真實復雜場景下這種多跳的選擇一般也會選擇到一個對結果更好的值吧，這種事情誰說的準呢。。。）

3. 簡單的解釋

在以往的圖像解釋器的論文中，出現(xiàn)過一個邊緣濾波器就能提供一個比較好的解釋。因此，作者認為圖的解釋器方法也需要一種簡單的解釋，比如在Tree-Cycles數據里邊是一種可以直觀理解的信息。作為延伸，還能考慮最近鄰，Page-rank等具有直觀表征的解釋數據集作為benchmark。

4. GNN本身的預測能力

在GNN的預測結果較差的時候是不能被解釋的。即使有一部分標簽被預測正確了，仍然不知道GNN是否是真正考慮了結構信息。因此，GNN本身需要達到最優(yōu)的結果。作為研究解釋性，這種精度需要盡可能達到100%，這樣解釋性模型才有可能達到最好的效果。

5. GNN的結構

不同GNN遵循不同的體系結構,會導致其關注圖的側重點會不一樣。如圖展示了一個樣例：

這個模擬數據集是定義的相同黃色節(jié)點之間會有邊，而需要模型預測兩個節(jié)點之間是否存在邊。這里的預處理層指的是會處理一些額外鏈接，而無預處理的圖就會保留這些鏈接。

作者對有處理的圖網絡訓練了2層GNN，而無預處理的圖做了3層GNN訓練，這兩種訓練的結果最終均能達到100%的準確率。因此，就算預測結果相同，GNN也是采用了不同信息的結構。

在右圖的解釋上，根據邊的解釋是沒有結果的。然而，如今的GNN結構選擇是比這種情況更多樣性的，比如Batch Normalization，skip connection或者多樣的圖卷積方法，這些都有可能導致解釋結果的錯誤。

新的benchmark

針對以上的5個問題，作者針對性的提出了一些新的benchmark來評估解釋性方法。目前已有的解釋性方法很多都是在一些真實數據上進行操作的，尤其是生物數據非常多，但是為了解決前文提到的幾個問題，作者提出了一些數據集作為解釋性模型新的benchmark。

感染檢測數據集：

這種數據集建立的方法是創(chuàng)建一個隨機有向圖，定義每個節(jié)點都可以為健康節(jié)點或者被感染節(jié)點，任務目標為節(jié)點分類，預測感染節(jié)點到當前節(jié)點的最小距離，且上限為5。

社交數據集：

圖網絡本身在社交網絡里是非常常見的模型，包括購物，學者引用都屬于這一類。而這里的社區(qū)交互網絡則是判斷社交的人是否在一個圈子里，這樣，這個社區(qū)網絡的交互可以簡單分為內部交互和外部交互。

作者采用隨機塊模型（stochastic block model, SBM）定義社區(qū)交互網絡，這里有一個示意圖：

如果節(jié)點于背景色相同，則說明社區(qū)選擇正確。最開始有有些節(jié)點會處于不正確的社區(qū)，因此會逐步調整。

這里展示了兩種方案，一種是去除多余鏈接，重新整合社區(qū)，另一種是干脆把所有社區(qū)都整合到一起。

負樣本評估：

這種評估數據集非常直接了當，定義了圖中的節(jié)點是否真的有存在重要信息，然后對這些節(jié)點進行分類。作者設置了一些紅色、藍色和白色的節(jié)點，如圖所示：

節(jié)點剛開始是一個白色的，沒有任何信息，根據邊上的顏色，會確定這個節(jié)點會被染成什么樣的顏色，即到底是有什么樣的信息影響了節(jié)點分類的情況。

Experiment

首先看一下在作者給出的幾個數據集上的GNN準確率：

這個結果是符合作者定義的準確率盡可能高的條件的。然后開始測試解釋

性模型：

其中，Node Gradients和Edge Gradients 分別表示計算最終結果和當前節(jié)點或者邊的積分梯度結果，IG表示Integrated Gradient，是一種針對Gradient的插值改進方法，Occlusion表示對邊進行刪除，然后來看差異。實驗發(fā)現(xiàn)這一系列基于梯度的傳統(tǒng)方法會優(yōu)于一些最近新提出來的方法。

對于模型運行時間，幾種Gradient-based 方法會非?？臁Ｒ簿褪钦f作者認為已有的Gradient方法對于解釋性問題來說可以是又快又好。

也就是說Gradient-based 方法可能才是圖解釋性問題解決的終極方案？

關注【學姐帶你玩AI】更多論文解讀等你