摘要：對(duì)于可信圖神經(jīng)網(wǎng)絡(luò)（Trustworthy Graph Neural Networks）在隱私（privacy），魯棒性（robustness）， 公平（fairness）和可解釋性（explainability） 的研究工作，我們進(jìn)行了系統(tǒng)的梳理和討論。對(duì)于可信賴所要求的各個(gè)方面，我們將現(xiàn)有概念和方法歸類并提煉出各類的通用框架。同時(shí)我們也給出了代表性工作和前沿方法的具體細(xì)節(jié)。對(duì)于未來(lái)的工作方向，我們也進(jìn)行了探討。

博客作者：戴恩炎 (https://enyandai.github.io/)，趙天翔，王蘇杭

綜述論文鏈接：

Dai, Enyan, Tianxiang Zhao, Huaisheng Zhu, Junjie Xu, Zhimeng Guo, Hui Liu, Jiliang Tang, and Suhang Wang. "A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability."?https://arxiv.org/pdf/2204.08570.pdf

在現(xiàn)實(shí)應(yīng)用當(dāng)中，大量的數(shù)據(jù)列如交通網(wǎng)絡(luò)，社交網(wǎng)絡(luò)，知識(shí)圖譜乃至蛋白質(zhì)結(jié)構(gòu)，都是以圖的形式存在的。圖神經(jīng)網(wǎng)絡(luò)（GNNs）將深度學(xué)習(xí)拓展到圖結(jié)構(gòu)數(shù)據(jù)的處理和建模。典型的圖神經(jīng)網(wǎng)絡(luò)會(huì)匯聚鄰居節(jié)點(diǎn)（neighbor node）的信息來(lái)增強(qiáng)目標(biāo)節(jié)點(diǎn)（target node）來(lái)獲取更強(qiáng)的特征。這種被稱作message-passing的機(jī)制使得圖神經(jīng)網(wǎng)絡(luò)在處理圖結(jié)構(gòu)數(shù)據(jù)上取得了巨大成功并被廣泛應(yīng)用到日常生活。例如，Pinterest就應(yīng)用了GNNs在他們的圖片推薦系統(tǒng)當(dāng)中。一些將GNNs應(yīng)用到信用評(píng)估等金融領(lǐng)域的工作也已開(kāi)展。但是正如深度學(xué)習(xí)那樣，GNNs在于可信賴性方面仍然存在很多問(wèn)題：

• 在GNNs的應(yīng)用中，隱私和魯棒性并不能得到保證。黑客可以對(duì)基于GNNs的服務(wù)進(jìn)行隱私攻擊或者對(duì)抗攻擊。如通過(guò)GNNs獲得的node embedding，攻擊者可以推斷用戶的私人信息。他們也可以采取各種方式如添加虛假聯(lián)結(jié)去欺騙圖神經(jīng)網(wǎng)絡(luò)模型。比如應(yīng)用在金融風(fēng)險(xiǎn)評(píng)估的GNNs就可能被攻擊，對(duì)個(gè)人，企業(yè)和社會(huì)帶來(lái)重大損失。

• 圖神經(jīng)網(wǎng)絡(luò)本身也有在公平性和可解釋性的缺陷?，F(xiàn)有研究已經(jīng)證明圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會(huì)進(jìn)一步加強(qiáng)隱藏在數(shù)據(jù)中的偏見(jiàn)，從而導(dǎo)致做出對(duì)年齡、性別、種族等帶有歧視的決策。另一方面，由于模型深度導(dǎo)致的高度非線性， GNNs模型給出預(yù)測(cè)難以被理解，這大大限制了GNNs在實(shí)際場(chǎng)景中的應(yīng)用。

以上的這些問(wèn)題都阻礙了GNNs在高風(fēng)險(xiǎn)場(chǎng)景如金融和醫(yī)療領(lǐng)域進(jìn)一步的發(fā)展。因此可信賴圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建已經(jīng)成為了熱門方向。在我們的綜述中 [6]，我們對(duì)已有的可信賴圖神經(jīng)網(wǎng)絡(luò)在隱私，魯棒性，公平性和可解釋性方面進(jìn)行了總結(jié)歸納，并展望了進(jìn)一步的工作方向。接下來(lái)在這篇博客中，我們將簡(jiǎn)要的介紹綜述的框架及所包含的具體方向。

隱私（Privacy）

模型訓(xùn)練集中的隱私信息可能會(huì)在發(fā)布的模型或者提供的服務(wù)泄露。然而現(xiàn)有的綜述論文多以討論在圖像和文本這類數(shù)據(jù)的隱私問(wèn)題，其中討論的方法難以拓展到圖數(shù)據(jù)結(jié)構(gòu)和采用message-passing架構(gòu)的圖神經(jīng)網(wǎng)絡(luò)。因此我們對(duì)隱私攻擊（privacy attacks）以及圖神經(jīng)網(wǎng)絡(luò)的隱私保護(hù)（privacy-preserving GNNs）進(jìn)行了概述總結(jié)。囊括的概念和方法都列在圖1之中。首先，我們對(duì)隱私攻擊方法總結(jié)出了統(tǒng)一的框架。然后，我們?cè)敿?xì)介紹了四種隱私攻擊：Membership Inference Attack, Reconstruction Attack, Property Inference Attack和Model Extraction Attack。至于圖神經(jīng)網(wǎng)絡(luò)的隱私保護(hù)，我們?cè)诰C述中按照采用的方法將其歸類為差分隱私（differential privacy），聯(lián)邦學(xué)習(xí)（federated learning）和對(duì)抗隱私保護(hù)（adversarial privacy preserving）。部分在文章討論過(guò)得方法也列舉在圖1之中。對(duì)于更多的技術(shù)細(xì)節(jié)以及相關(guān)方法請(qǐng)見(jiàn)于綜述論文第三章。這一章節(jié)還包含了不同領(lǐng)域的數(shù)據(jù)集以及圖神經(jīng)網(wǎng)絡(luò)隱私保護(hù)的實(shí)際應(yīng)用。同時(shí)我們發(fā)現(xiàn)對(duì)于一些類型的隱私攻擊如Property Inference Attack及Model Extraction Attack現(xiàn)在都缺乏行之有效的防御辦法。因此對(duì)于不同的隱私攻擊的防御會(huì)是一個(gè)未來(lái)的研究方向。其他的未來(lái)研究方向也在文章中進(jìn)行了討論。更多細(xì)節(jié)請(qǐng)見(jiàn)原文。

魯棒性（Robustness）

魯棒性是可信賴模型的另一個(gè)重要方面。由于message-passing機(jī)制和圖結(jié)構(gòu)，GNNs可能會(huì)被節(jié)點(diǎn)特征和圖結(jié)構(gòu)上的對(duì)抗性擾動(dòng)影響。例如，詐騙犯可以通過(guò)創(chuàng)造和一些特定高信用用戶的交易來(lái)逃過(guò)基于GNNs的詐騙檢測(cè)。所以研發(fā)魯棒的圖神經(jīng)網(wǎng)絡(luò)對(duì)于一些安全風(fēng)險(xiǎn)較高的領(lǐng)域如醫(yī)療和金融是十分有必要的。

現(xiàn)在已有一些綜述文章討論在圖學(xué)習(xí)上的魯棒性。因此，我們專注于討論在這個(gè)領(lǐng)域內(nèi)新興的研究方向如大規(guī)模攻擊（scalable attack），圖后門攻擊（graph backdoor attack）和最近的提出的防御方法。擾動(dòng)采樣（perturbation sampling）和減少候選擾動(dòng)（perturbation candidate reduction）便是對(duì)已有方法進(jìn)行改進(jìn)，從而實(shí)現(xiàn)對(duì)大規(guī)模網(wǎng)絡(luò)攻擊。另外，節(jié)點(diǎn)插入攻擊（node injection attack）作為添加擾動(dòng)的時(shí)間復(fù)雜度與圖規(guī)模線性相關(guān)的方法也具備對(duì)大規(guī)模網(wǎng)絡(luò)攻擊的潛力。至于圖后門攻擊，已有方法較少，我們對(duì)其進(jìn)行了細(xì)致的介紹。

對(duì)于圖對(duì)抗攻擊的防御方法，如圖2所示，我們將其歸類為：對(duì)抗訓(xùn)練（adversarial training），可驗(yàn)證魯棒性（certifiable robustness），圖去噪（graph denoising）及其他方法。在這些方向中，基于自監(jiān)督（self-supervision）的方法未在以往綜述中被討論過(guò)。因此我們討論了如SimP-GNN [1]的一些基于自監(jiān)督的防御方法。對(duì)于其他的方向，我們則討論了些最新的進(jìn)展，比如可以同時(shí)處理標(biāo)簽稀少和對(duì)抗攻擊的RS-GNN [2]。關(guān)于圖神經(jīng)網(wǎng)絡(luò)魯棒性的未來(lái)研究方向也包含在綜述當(dāng)中，詳情請(qǐng)見(jiàn)綜述第四章。

公平（Fairness）

我們最近的研究 [3] 表明GNNs中的message-passing機(jī)制相較于多層感知機(jī)（MLP）會(huì)加劇數(shù)據(jù)中的偏見(jiàn)。這也證明了針對(duì)圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)公平性是十分有必要的。最近有很多研究保證GNNs滿足不同公平性標(biāo)準(zhǔn)的工作涌現(xiàn)。因此我們對(duì)與這些工作進(jìn)行了系統(tǒng)的回顧和歸納，整體的結(jié)構(gòu)可參見(jiàn)圖3。

首先我們介紹了兩類可能存在于圖結(jié)構(gòu)數(shù)據(jù)的偏見(jiàn)：一類是廣泛存在各類數(shù)據(jù)如表格，文本和圖數(shù)據(jù)的偏見(jiàn)；另一類則是圖結(jié)構(gòu)數(shù)據(jù)所特有的偏見(jiàn)。對(duì)于算法公平性的研究，其中一個(gè)最重要的問(wèn)題就是如何定義和量化算法公平與否。所以我們還列舉出被GNNs公平性文獻(xiàn)廣泛采用的定義。這些公平性的定義多數(shù)適用于各種數(shù)據(jù)結(jié)構(gòu)。只有Dyadic fairness是為鏈接預(yù)測(cè)任務(wù)設(shè)計(jì)，僅適用于圖結(jié)構(gòu)數(shù)據(jù)。

對(duì)于實(shí)現(xiàn)GNNs公平性的算法，我們將其分類為對(duì)抗去偏（adversarial debiasing），公平性約束（fairness constraints）以及其他方法。部分我們討論的代表性方法在圖三當(dāng)中也有列舉。在對(duì)抗去偏和公平性約束的已有方法的介紹中，我們首先分別歸納了其目標(biāo)函數(shù)的統(tǒng)一形式。關(guān)于具體方法的各自確切目標(biāo)函數(shù)也一一進(jìn)行了介紹。由于需要用戶的隱私信息用于訓(xùn)練和驗(yàn)證公平圖神經(jīng)網(wǎng)絡(luò)，可以用圖神經(jīng)網(wǎng)絡(luò)公平性研究的數(shù)據(jù)集較難獲得。因此我們還列舉了各應(yīng)用領(lǐng)域可用的數(shù)據(jù)集來(lái)幫助未來(lái)的研究。

可解釋性（Explainability）

由于復(fù)雜圖結(jié)構(gòu)的離散型和高度的非線性，再加上message-passing機(jī)制在GNNs中的應(yīng)用，圖神經(jīng)網(wǎng)絡(luò)普遍缺乏可解釋性。而開(kāi)發(fā)可解釋圖神經(jīng)網(wǎng)絡(luò)（explainable GNNs）是十分關(guān)鍵的。因?yàn)樘峁┑慕忉尶梢宰寘⑴c者更信任圖神經(jīng)網(wǎng)絡(luò)模型所做的預(yù)測(cè)。并且提供的解釋可以用來(lái)了解模型所學(xué)到的知識(shí)，據(jù)此我們可以評(píng)估現(xiàn)有模型是否帶有偏見(jiàn)或者已經(jīng)被對(duì)抗攻擊影響。因此已經(jīng)有一些工作開(kāi)展了可解釋GNNs的研究，我們?cè)谶@里則對(duì)其進(jìn)行了總結(jié)性回顧。對(duì)于可解釋GNNs的討論框架可見(jiàn)于圖4。其中我們首先對(duì)可解釋性的應(yīng)該考慮的各個(gè)方面進(jìn)行了探討。之后我們對(duì)已有的解釋GNNs的方法分為 實(shí)例級(jí)事后（instance-level post-hoc），模型級(jí)事后（model-level post-hoc）以及自解釋方法（self-explainable）。值得強(qiáng)調(diào)的是，其中的self-explainable GNNs是一個(gè)未被討論的新方向。因此我們?cè)斒隽藄elf-explainable GNNs如SE-GNN [4] 和ProtGNN [5] 的技術(shù)細(xì)節(jié)。對(duì)于其他種類的方法，我們根據(jù)其采用的方法進(jìn)一步分為多個(gè)子類。由于在現(xiàn)實(shí)世界的圖中很難獲得可以作為檢驗(yàn)標(biāo)準(zhǔn)的解釋，因此數(shù)據(jù)集及其評(píng)估指標(biāo)也是可解釋性研究的一大挑戰(zhàn)。雖然已有人造數(shù)據(jù)集以及部分現(xiàn)實(shí)數(shù)據(jù)集被應(yīng)用，但是創(chuàng)造可解釋性的基準(zhǔn)數(shù)據(jù)集仍會(huì)一個(gè)重要的研究方向。更多內(nèi)容詳見(jiàn)我們的綜述原文。

引用

[1] Jin, Wei, Tyler Derr, Yiqi Wang, Yao Ma, Zitao Liu, and Jiliang Tang. "Node similarity preserving graph convolutional networks." In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, pp. 148-156. 2021.

[2] Dai, Enyan, Wei Jin, Hui Liu, and Suhang Wang. "Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels." Proceedings of the 15th ACM International Conference on Web Search and Data Mining. 2022.

[3] Dai, Enyan, and Suhang Wang. "Say no to the discrimination: Learning fair graph neural networks with limited sensitive attribute information." Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021.

[4] Dai, Enyan, and Suhang Wang. "Towards Self-Explainable Graph Neural Network." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021.

[5] Zhang, Zaixi, Qi Liu, Hao Wang, Chengqiang Lu, and Cheekong Lee. "ProtGNN: Towards Self-Explaining Graph Neural Networks." arXiv preprint arXiv:2112.00911 (2021).

[6] Dai, Enyan, Tianxiang Zhao, Huaisheng Zhu, Junjie Xu, Zhimeng Guo, Hui Liu, Jiliang Tang, and Suhang Wang. "A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability." arXiv preprint arXiv:2204.08570 (2022).

團(tuán)隊(duì)簡(jiǎn)介：該綜述論文主要由賓夕法尼亞州立大學(xué)（PSU) 王蘇杭助理教授團(tuán)隊(duì)協(xié)作完成。其他主要貢獻(xiàn)作者包括戴恩炎和趙天翔。

戴恩炎是來(lái)自PSU的第三年P(guān)hD學(xué)生，他目前的主要科研方向?yàn)門rustworthy Graph Neural Networks。

趙天翔也是來(lái)自PSU的第三年P(guān)hD學(xué)生，他主要從事Weakly-Supervised Graph Learning方向的研究。

王蘇杭教授對(duì)于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有著廣泛的興趣，最近的研究主要集中于圖神經(jīng)網(wǎng)絡(luò)的各個(gè)方向如Trustworthiness, self-supervision, weak-supervision 和 heterophilic graph learning，deep generative models和causal recommender systems。