圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類專門針對圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，在社交網(wǎng)絡(luò)分析、知識圖譜等領(lǐng)域中取得了不錯的效果。近來，相關(guān)研究人員在GNN的可解釋性、架構(gòu)搜索、對比學(xué)習(xí)等方面做了很多探究。

本周精選了10篇GNN領(lǐng)域的優(yōu)秀論文，來自慕尼黑工業(yè)大學(xué)、密歇根大學(xué)、香港科技大學(xué)等機(jī)構(gòu)。

為了方便大家閱讀，只列出了論文標(biāo)題、作者、AI華同學(xué)綜述等信息，如果感興趣可掃碼查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

1.Adversarial Training for Graph Neural Networks

作者：Lukas Gosch,Simon Geisler,Daniel Sturm,Bertrand Charpentier,Daniel Zügner,Stephan Günnemann

鏈接：https://www.aminer.cn/pub/649bb0eed68f896efa4ddd60/

ChatPaper綜述：這個論文指出在圖神經(jīng)網(wǎng)絡(luò)（GNN）中，對抗訓(xùn)練并沒有像在圖像領(lǐng)域那樣成為一個有效的防御機(jī)制來對抗圖結(jié)構(gòu)的擾動。論文試圖解決對抗訓(xùn)練存在的問題，具體包括：（1）克服了在之前的研究中采用的圖學(xué)習(xí)框架的基本理論和實踐限制；（2）發(fā)現(xiàn)基于可學(xué)習(xí)圖擴(kuò)散的更靈活的GNN能夠適應(yīng)對抗性擾動，并且學(xué)到的消息傳遞機(jī)制是自然可解釋的；（3）引入了第一個面向結(jié)構(gòu)擾動的攻擊方法，該攻擊能夠同時針對多個節(jié)點(diǎn)，并能夠處理全局（圖級）和局部（節(jié)點(diǎn)級）的約束。通過這些貢獻(xiàn)，論文證明了對抗訓(xùn)練是一種針對對抗性結(jié)構(gòu)擾動的最先進(jìn)的防御方法。

2.Interpretable Sparsification of Brain Graphs: Better Practices and Effective Designs for Graph Neural Networks

作者：Gaotang Li,Marlena Duda,Xiang Zhang,Danai Koutra,Yujun Yan

鏈接：https://www.aminer.cn/pub/649a5e2ad68f896efad847b6/

ChatPaper綜述：這篇論文介紹了在神經(jīng)科學(xué)和臨床應(yīng)用中使用的圖分類中，密集的腦圖存在計算挑戰(zhàn)，包括高運(yùn)行時間和內(nèi)存使用以及有限的可解釋性。作者發(fā)現(xiàn)先前的方法基于可解釋性或與任務(wù)無關(guān)的屬性去除噪聲邊緣，但這并不能保證在稀疏圖上提高性能。此外，現(xiàn)有方法經(jīng)常忽視在多個圖之間進(jìn)行集體邊緣刪除。作者通過引入迭代框架來解決這些問題，并得出以下結(jié)論：(i) 優(yōu)先考慮可解釋性的方法可能不適用于圖稀疏化，因為它們可能降低圖神經(jīng)網(wǎng)絡(luò)在圖分類任務(wù)中的性能；(ii) 與后訓(xùn)練相比，同時學(xué)習(xí)邊緣選擇和GNN訓(xùn)練更有益；(iii) 在多個圖之間共享邊緣選擇優(yōu)于為每個圖單獨(dú)選擇；(iv) 任務(wù)相關(guān)的梯度信息有助于邊緣選擇。基于這些發(fā)現(xiàn)，作者提出了一個新模型，可解釋圖稀疏化（IGS），通過減少55.0％的邊緣，將圖分類性能提高了最多5.1％。IGS確定的保留邊緣提供了神經(jīng)科學(xué)的解釋，并得到了成熟的文獻(xiàn)支持。因此，論文主要說明了在神經(jīng)科學(xué)和臨床應(yīng)用中，如何利用圖神經(jīng)網(wǎng)絡(luò)來稀疏腦圖，以提高解釋性和性能。

3.GADBench: Revisiting and Benchmarking Supervised Graph Anomaly Detection

作者：Jianheng Tang,Fengrui Hua,Ziqi Gao,Peilin Zhao,Jia L

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19c6d/

ChatPaper綜述：這篇論文提出了以下問題：1. 在一個標(biāo)準(zhǔn)的綜合環(huán)境下，傳統(tǒng)的圖異常檢測算法和最近流行的圖神經(jīng)網(wǎng)絡(luò)如何表現(xiàn)？2. 圖神經(jīng)網(wǎng)絡(luò)是否比如樹集成等傳統(tǒng)算法表現(xiàn)更好？3. 這些算法在大規(guī)模圖上的效率如何？這些問題促使作者開發(fā)了GADBench，一個用于在靜態(tài)圖上進(jìn)行監(jiān)督異常節(jié)點(diǎn)檢測的全面基準(zhǔn)測試。他們對23個不同模型在十個真實世界的圖異常檢測數(shù)據(jù)集上進(jìn)行了詳細(xì)比較，這些數(shù)據(jù)集的節(jié)點(diǎn)數(shù)量從數(shù)千到數(shù)百萬不等，最大達(dá)到約6百萬。作者的主要發(fā)現(xiàn)是，簡單的鄰域集成樹算法在所有其他基線模型（包括針對圖異常檢測任務(wù)的最新圖神經(jīng)網(wǎng)絡(luò)）中表現(xiàn)最好。通過將GADBench作為一個開源工具提供，作者為圖異常檢測的當(dāng)前進(jìn)展提供了重要見解，并為未來的研究奠定了堅實的基礎(chǔ)。他們的代碼可在https://github.com/squareRoot3/GADBench上獲取。

4.PolicyClusterGCN: Identifying Efficient Clusters for Training Graph Convolutional Networks

作者：Saket Gurukar,Shaileshh Bojja Venkatakrishnan,Balaraman Ravindran,Srinivasan Parthasarathy

鏈接：https://www.aminer.cn/pub/649a5e2ad68f896efad8479f/

ChatPaper綜述：這篇論文主要解決的問題是如何通過在線強(qiáng)化學(xué)習(xí)（RL）框架來識別用于GCN訓(xùn)練的高效聚類?，F(xiàn)有的子圖采樣方法如ClusterGCN和GraphSAINT依賴于啟發(fā)式方法（如通過邊界切割進(jìn)行圖的分區(qū)）來識別聚類，并在GCN訓(xùn)練期間將它們作為小批量處理。本文提出了PolicyClusterGCN，它使用RL框架來預(yù)測邊的“重要性”權(quán)重，并通過聚類算法（Graclus）計算聚類。通過使用策略給出的聚類進(jìn)行GCN訓(xùn)練，使用分類準(zhǔn)確率計算獎勵，通過標(biāo)準(zhǔn)的策略梯度算法訓(xùn)練策略網(wǎng)絡(luò)。實驗結(jié)果表明，PolicyClusterGCN在節(jié)點(diǎn)分類任務(wù)上優(yōu)于現(xiàn)有的最先進(jìn)模型。

5.Similarity Preserving Adversarial Graph Contrastive Learning

作者：Yeonjun In,Kanghoon Yoon,Chanyoung Park

鏈接：https://www.aminer.cn/pub/649a5e2ad68f896efad84565/

ChatPaper綜述：該論文指出了圖對比學(xué)習(xí)（GCL）方法在面對對抗性攻擊時存在的問題。傳統(tǒng)的GCL方法對原始圖的自我監(jiān)督信號高度依賴，而當(dāng)圖受到攻擊時，原始圖中已經(jīng)包含了噪音，因此這些方法容易受到對抗性攻擊的影響。為了增強(qiáng)對抗性魯棒性，現(xiàn)有方法在GCL框架中采用對抗訓(xùn)練（AT），將受攻擊圖作為增強(qiáng)。然而，該論文發(fā)現(xiàn)現(xiàn)有的對抗訓(xùn)練GCL方法在提高魯棒性的同時無法保持節(jié)點(diǎn)特征的相似性。因此，該論文提出了一種相似性保持的對抗圖對比學(xué)習(xí)（SP-AGCL）框架，在該框架中，將干凈圖與具有不同特性的兩個輔助視圖（即節(jié)點(diǎn)相似性保持視圖和對抗視圖）進(jìn)行對比。通過大量實驗證明，SP-AGCL在多個下游任務(wù)上取得了競爭性的性能，并在多種情境中展現(xiàn)了其有效性，例如網(wǎng)絡(luò)中存在對抗攻擊、噪聲標(biāo)簽和異類鄰居等情況。

6.Predicting protein variants with equivariant graph neural networks

作者：Antonia Boca,Simon Mathis

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19c59/

ChatPaper綜述：該論文指出了在預(yù)測優(yōu)于野生型蛋白質(zhì)的蛋白變異體方面，結(jié)構(gòu)和序列方法之間存在研究差距。該論文旨在通過比較等變圖神經(jīng)網(wǎng)絡(luò)（EGNNs）和基于序列的方法來識別有希望的氨基酸突變的能力，以填補(bǔ)這一研究差距。結(jié)果顯示，我們提出的結(jié)構(gòu)方法在經(jīng)過顯著減少的分子訓(xùn)練情況下，實現(xiàn)了與基于序列的方法相競爭的性能。此外，我們發(fā)現(xiàn)結(jié)合測定標(biāo)記數(shù)據(jù)和結(jié)構(gòu)預(yù)訓(xùn)練模型產(chǎn)生類似的趨勢，與序列預(yù)訓(xùn)練模型相似。

7.Spatial Heterophily Aware Graph Neural Networks

作者：Congxi Xiao,Jingbo Zhou,Jizhou Huang,Tong Xu,Hui Xiong

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19bfa/

ChatPaper綜述：這篇論文解決了當(dāng)前城市圖中的空間異質(zhì)性問題。盡管已經(jīng)開發(fā)了一些用于處理異質(zhì)性圖的增強(qiáng)GNN架構(gòu)，但城市圖通常具有獨(dú)特的空間異質(zhì)性特性。該論文提出了一個名為Spatial Diversity Score的度量標(biāo)準(zhǔn)，用于定量測量空間異質(zhì)性，并展示了它如何影響GNN的性能。實驗證明，現(xiàn)有的異質(zhì)性GNN在處理具有高空間異質(zhì)性得分的城市圖時仍然存在不足，這可能降低它們在城市應(yīng)用中的有效性。為了解決這個問題，論文提出了一種稱為Spatial Heterophily Aware Graph Neural Network（SHGNN）的方法，用于處理城市圖的空間異質(zhì)性。通過觀察到城市圖上空間接近的鄰居節(jié)點(diǎn)對中心節(jié)點(diǎn)的差異更相似的模式，論文首先設(shè)計了一個旋轉(zhuǎn)-縮放空間聚合模塊，其核心思想是正確地將空間接近的鄰居節(jié)點(diǎn)分組，并獨(dú)立處理每個組，減少組內(nèi)的異質(zhì)性。然后，設(shè)計了一個異質(zhì)性敏感的空間交互模塊，以自適應(yīng)地捕捉不同空間組中的共同性和差異性。在三個真實世界的城市數(shù)據(jù)集上進(jìn)行了大量實驗證明，我們的SHGNN相對于幾個競爭對手具有明顯的優(yōu)勢。

8.Structure-Aware DropEdge Towards Deep Graph Convolutional Networks

作者：Jiaqi Han,Wenbing Huang,Yu Rong,Tingyang Xu,Fuchun Sun,Junzhou Huang

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19bc9/

ChatPaper綜述：這篇論文解釋了當(dāng)多個圖卷積網(wǎng)絡(luò)層疊在一起時，網(wǎng)絡(luò)性能顯著下降的問題。作者指出，導(dǎo)致深度圖卷積網(wǎng)絡(luò)失敗的主要因素是過度平滑化，隨著網(wǎng)絡(luò)深度的增加，將網(wǎng)絡(luò)輸出與輸入隔離開來，削弱了網(wǎng)絡(luò)的表達(dá)能力和可訓(xùn)練性。為了解決這個問題，作者在已有的DropEdge技術(shù)基礎(chǔ)上提出了DropEdge++方法，其中包括兩種結(jié)構(gòu)感知采樣器：層依賴采樣器和特征依賴采樣器。對于層依賴采樣器，作者發(fā)現(xiàn)從底層采樣邊的數(shù)量逐漸增加比逐漸減少以及DropEdge方法能獲得更好的性能。作者通過一個與過度平滑化密切相關(guān)的指標(biāo)Mean-Edge-Number (MEN)理論上揭示了這一現(xiàn)象。對于特征依賴采樣器，作者將邊的采樣概率與節(jié)點(diǎn)對的特征相似性相關(guān)聯(lián)，并證明它進(jìn)一步相關(guān)了輸出層的收斂子空間與輸入特征。通過在幾個節(jié)點(diǎn)分類基準(zhǔn)測試上進(jìn)行廣泛實驗，包括全監(jiān)督和半監(jiān)督任務(wù)，證明了DropEdge++的有效性以及與不同骨干網(wǎng)絡(luò)的兼容性，實現(xiàn)了比DropEdge和無采樣版本更好的性能。

9.A Semi-Autoregressive Graph Generative Model for Dependency Graph Parsing

作者：Ye Ma,Mingming Sun,Ping Li

鏈接：https://www.aminer.cn/pub/6493c733d68f896efad19b7e/

ChatPaper綜述：該文研究了圖神經(jīng)網(wǎng)絡(luò)（GNNs）的解釋問題。GNNs由于黑盒特性使得用戶難以理解和信任模型，從而限制了其應(yīng)用性。現(xiàn)有的方法往往存在不準(zhǔn)確性和不自然性的問題。為了解決這些問題，研究者提出了DEGREE方法，通過對GNNs的信息生成和聚合機(jī)制進(jìn)行分解，可以追蹤輸入圖中特定組件對最終預(yù)測的貢獻(xiàn)。在此基礎(chǔ)上，他們進(jìn)一步設(shè)計了一個子圖級別的解釋算法，揭示了被先前方法忽視的圖節(jié)點(diǎn)之間的復(fù)雜互動。通過利用GNN的特性，該算法的效率可以進(jìn)一步提高。最后，他們在合成和真實世界數(shù)據(jù)集上進(jìn)行了定量和定性實驗，以證明DEGREE在節(jié)點(diǎn)分類和圖分類任務(wù)上的有效性。

10.Explaining and Adapting Graph Conditional Shift

作者：Qi Zhu,Yizhu Jiao,Natalia Ponomareva,Jiawei Han，Bryan Perozzi

鏈接：https://www.aminer.cn/pub/648000a9d68f896efaa12362/

ChatPaper綜述：這項研究解釋了關(guān)于圖條件轉(zhuǎn)移的問題，并提出了一種適應(yīng)圖結(jié)構(gòu)數(shù)據(jù)的方法。該研究發(fā)現(xiàn)，圖異特性和模型架構(gòu)會加劇條件轉(zhuǎn)移，從而導(dǎo)致性能下降。為了解決這個問題，研究團(tuán)隊提出了一種估計和最小化無監(jiān)督領(lǐng)域適應(yīng)中的條件轉(zhuǎn)移的方法。通過控制性的合成實驗，他們的算法在面對分布轉(zhuǎn)移時展現(xiàn)出了穩(wěn)健性，相較于第二好的算法，其絕對ROC AUC的改進(jìn)率達(dá)到了10%。此外，在節(jié)點(diǎn)分類和圖分類的全面實驗中，他們的算法展現(xiàn)出了對各種分布轉(zhuǎn)移的穩(wěn)健性。