得益于強大的建模和分析能力，圖神經(jīng)網(wǎng)絡（GNN）在社交網(wǎng)絡分析、推薦系統(tǒng)、知識圖譜、文本分析、等諸多領域得到了廣泛的應用，目前已成為了人工智能領域的熱門研究方向。

在今年的各大頂會獲獎論文中，圖神經(jīng)網(wǎng)絡相關的論文數(shù)量也是意料之中的可觀，所以學姐建議有想法發(fā)paper的同學抓緊時間。

為了幫大家快速找到idea，這次學姐精選了近兩年圖神經(jīng)網(wǎng)絡的各大頂會好文，共40篇，涵蓋了可解釋性、圖transformer、圖結(jié)構(gòu)等熱門細分領域。

需要論文以及源代碼的同學可以看這里??????

掃碼添加小享，回復“GNN精選”

免費獲取全部論文+源代碼合集

2023年

1、Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks

ICML 2023

標題：Do Not Train It: 一種基于線性圖神經(jīng)網(wǎng)絡的神經(jīng)架構(gòu)搜索方法

內(nèi)容：圖神經(jīng)網(wǎng)絡的神經(jīng)架構(gòu)搜索(NAS)方法(稱為NAS-GNNs)相比手工設計的GNN架構(gòu)能夠取得顯著的性能提升。但是，這些方法繼承了傳統(tǒng)NAS方法的問題，如計算成本高和優(yōu)化困難。更重要的是，以前的NAS方法忽略了GNNs的獨特性，即GNNs在沒有訓練的情況下就具有表達能力。我們可以利用稀疏編碼目標在隨機初始化權重的情況下求出最優(yōu)的架構(gòu)參數(shù)，并推導出一種新的NAS-GNNs方法，即神經(jīng)架構(gòu)編碼(NAC)。

2、Feature Expansion for Graph Neural Networks

ICML 2023

標題：圖神經(jīng)網(wǎng)絡的特征擴展

內(nèi)容：最近，許多方法從優(yōu)化目標和圖譜譜理論的角度研究了GNNs的表示。但是，主導表示學習的特征空間還沒有在圖神經(jīng)網(wǎng)絡中得到系統(tǒng)的研究。本文通過分析空間模型和譜模型的特征空間來填補這一空白。作者將圖神經(jīng)網(wǎng)絡分解為確定的特征空間和可訓練的權重，這為使用矩陣空間分析明確地研究特征空間提供了方便。在理論上發(fā)現(xiàn)，由于重復聚合，特征空間趨向于線性相關?；谶@些發(fā)現(xiàn)，作者提出了1)特征子空間展平和2)結(jié)構(gòu)主成分來擴展特征空間。

3、LMC: FAST TRAINING OF GNNS VIA SUBGRAPHWISE SAMPLING WITH PROVABLE CONERGENCE

ICLR 2023

標題：LMC：通過子圖抽樣實現(xiàn)GNNs的快速訓練并保證收斂性

內(nèi)容：作者提出了一種新的子圖抽樣方法LMC，它可以恢復反向傳播中被丟棄的消息，從而計算出更準確的梯度。作者證明了LMC可以收斂于圖神經(jīng)網(wǎng)絡的駐點。實驗結(jié)果顯示，LMC相比現(xiàn)有子圖抽樣方法，收斂速度更快，計算效率更高。本研究為大規(guī)模圖上的神經(jīng)網(wǎng)絡訓練提供了具有收斂保證的高效解決方案。

4、E-commerce Search via Content Collaborative Graph Neural Network

KDD 2023

標題：基于內(nèi)容協(xié)同的圖神經(jīng)網(wǎng)絡在電商搜索中的應用

內(nèi)容：最近的電商搜索圖神經(jīng)網(wǎng)絡模型存在三個問題：(1)缺乏對產(chǎn)品內(nèi)容的語義表示；(2)大規(guī)模圖上的計算效率較低；(3)對長尾查詢和冷啟動產(chǎn)品的準確性較差。為同時解決這三個問題，本文提出了基于內(nèi)容協(xié)同的圖神經(jīng)網(wǎng)絡CC-GNN。其主要創(chuàng)新包括：1)允許內(nèi)容詞組參與圖傳播表達語義；2)高效的圖構(gòu)建和消息傳遞機制；3)使用對抗學習補充長尾查詢和冷啟動產(chǎn)品的數(shù)據(jù)。

5、From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks

ICML 2023

標題：從關系匯聚到子圖GNNs：一個用于更有表達能力的圖神經(jīng)網(wǎng)絡的通用框架

內(nèi)容：關系匯聚框架構(gòu)建的圖神經(jīng)網(wǎng)絡表達能力和區(qū)分圖同構(gòu)的能力有限。為提高表達能力，作者提出了k,lWL算法，它通過給節(jié)點添加標簽特征，擴展了傳統(tǒng)WL測試。此外，作者將子圖概念引入，提出了局部化k,l-WL框架，統(tǒng)一了許多子圖GNN。理論分析表明，k,lWL優(yōu)于k-WL。

6、xGCN: An Extreme Graph Convolutional Network for Large-scale Social Link Prediction

WWW 2023

標題：xGCN：用于大規(guī)模社交鏈接預測的極端圖卷積網(wǎng)絡

內(nèi)容：針對大規(guī)模圖的表示學習，xGCN采用極端卷積方式對圖結(jié)構(gòu)進行編碼。它將節(jié)點嵌入看作靜態(tài)特征，通過傳播操作平滑節(jié)點特征，然后用精煉網(wǎng)絡反復學習新的嵌入特征。這樣可以高效利用圖結(jié)構(gòu)信息，并連續(xù)改進節(jié)點表示，避免直接學習大規(guī)模可訓練嵌入?yún)?shù)。在鏈接預測任務上，xGCN取得最優(yōu)準確率，且高效可擴展。本研究為大規(guī)模網(wǎng)絡表示學習提供了實用高效的框架。

7、GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification

KDD 2023

標題：GraphSHA：為類別不平衡的節(jié)點分類任務合成更難樣本

內(nèi)容：針對GNN在類別不平衡任務中的表現(xiàn)不佳，作者提出了GraphSHA框架。它通過合成更難少類樣本來擴大少類的決策邊界，并使用SemiMixup模塊來控制邊界擴張的范圍。在多個基準數(shù)據(jù)集上，GraphSHA優(yōu)于各種基線,證明了它在擴大少類決策邊界上的有效性。

8、Characterizing the Influence of Graph Elements

ICLR 2023

標題：總結(jié)圖元素的影響

內(nèi)容：該工作研究了圖卷積網(wǎng)絡(GCNs)的influence function。influence function可以有效地度量刪除或修改訓練實例對模型參數(shù)或相關函數(shù)的影響，無需進行昂貴的模型重新訓練。但是在GCNs中，由于節(jié)點和邊之間的相互依賴性，求解influence function存在挑戰(zhàn)。為此，該工作基于簡單圖卷積(SGC)模型，推導了一個influence function來估計刪除屬性圖中的節(jié)點或邊對模型參數(shù)變化的影響。并且理論分析了刪除邊的influence function的誤差界。

9、Robust Graph Dictionary Learning

ICLR 2023

標題：穩(wěn)健的圖字典學習

內(nèi)容：傳統(tǒng)的字典學習(DL)通過稀疏線性組合來逼近數(shù)據(jù)向量，并被廣泛用于機器學習、計算機視覺和信號處理。Vincent-Cuaz等在2021年提出了一種圖字典學習方法GDL，它使用配對關系矩陣(PRM)描述每個圖的拓撲結(jié)構(gòu)，并通過Gromov-Wasserstein不相符度(GWD)比較不同PRM。但是GWD對圖的結(jié)構(gòu)噪聲較敏感，限制了GDL的應用。本文提出了一種基于穩(wěn)健Gromov-Wasserstein不相符度(RGWD)的改進圖字典學習算法，RGWD具有良好的理論屬性和高效的計算方案。基于該不相符度，提出的算法可以從含噪聲的圖數(shù)據(jù)中學習字典原子。

10、AutoGT: Automated Graph Transformer Architecture Search (Oral)

ICLR 2023

標題：AutoGT：自動圖轉(zhuǎn)換器架構(gòu)搜索

內(nèi)容：該研究提出自動圖Transformer架構(gòu)搜索方法AutoGT。它設計了統(tǒng)一的圖Transformer搜索空間，并使用編碼感知的性能估計策略處理架構(gòu)與圖編碼之間的耦合關系。實驗結(jié)果顯示，相比手工設計，AutoGT可以搜索出在多個數(shù)據(jù)集上性能更優(yōu)的圖Transformer架構(gòu)。

11、Relational Attention: Generalizing Transformers for Graph-Structured Tasks (Spotlight)

ICLR 2023

標題：關系注意力：推廣Transformer用于圖結(jié)構(gòu)任務

內(nèi)容：Transformer可以在表示任務特定實體及其屬性的實向量集上靈活操作，但在推理更通用的圖結(jié)構(gòu)數(shù)據(jù)時有局限，因為圖中節(jié)點表示實體，邊表示實體間關系。為解決這一缺陷，本文將Transformer注意力推廣到邊向量，以在每層中同時考慮和更新節(jié)點向量和邊向量。在各種圖結(jié)構(gòu)任務上的評估顯示，關系Transformer明顯優(yōu)于專門設計用于圖推理的最先進圖神經(jīng)網(wǎng)絡。分析表明，這是因為關系注意力內(nèi)在地利用了圖相對于集合的更高的表達能力。

12、Do We Really Need Complicated Model Architectures For Temporal Networks? (Oral)

ICLR 2023

標題：我們真的需要為時態(tài)網(wǎng)絡設計復雜的模型架構(gòu)嗎？

內(nèi)容：循環(huán)神經(jīng)網(wǎng)絡(RNN)和自注意力機制(SAM)是提取時態(tài)圖的時空信息的事實標準方法。有趣的是，我們發(fā)現(xiàn)盡管RNN和SAM都能取得良好表現(xiàn)，但在實踐中它們并非總是必需的。本文提出了GraphMixer，一個概念上和技術上很簡單的架構(gòu)，包含了：(1)僅基于多層感知器(MLP)的鏈接編碼器；(2)僅基于鄰居均值池化的節(jié)點編碼器，(3)基于編碼器輸出的MLP鏈接分類器。雖然簡單，但GraphMixer在時態(tài)鏈路預測基準測試上取得了出色表現(xiàn)，具有更快收斂速度和更好的泛化能力。

13、Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks (Oral)

ICLR 2023

標題：帶漂移感知的動態(tài)神經(jīng)網(wǎng)絡實現(xiàn)時域泛化

內(nèi)容：時域泛化目標是學習能夠泛化到未見分布的模型，在時間變化的數(shù)據(jù)分布下具有極大挑戰(zhàn)。本文提出了時域泛化的漂移感知動態(tài)神經(jīng)網(wǎng)絡(DRAIN)框架。首先，它從貝葉斯角度聯(lián)合建模了數(shù)據(jù)和模型動態(tài)之間的關系。然后，它通過生成式方法捕獲了學習到的動態(tài)圖神經(jīng)網(wǎng)絡隨時間變化的模型參數(shù)和數(shù)據(jù)分布漂移，從而可以在沒有未來數(shù)據(jù)的情況下預測未來模型。此外，它還從理論上分析了時域泛化下的模型性能保證和泛化誤差。

14、Transfer NAS with Meta-learned Bayesian Surrogates (Oral)

ICLR 2023

標題：使用元學習貝葉斯替身的神經(jīng)架構(gòu)搜索遷移

內(nèi)容：神經(jīng)架構(gòu)搜索(NAS)技術通常要么計算代價高，要么泛化能力差。而人工設計過程中研究人員可以利用之前的經(jīng)驗，如從相關問題中遷移架構(gòu)。本文采用這種人工設計策略，提出一個元學習的NAS替身模型，可以在不同數(shù)據(jù)集上進行架構(gòu)評估和遷移。具體來說，該方法使用貝葉斯優(yōu)化、圖神經(jīng)網(wǎng)絡架構(gòu)嵌入和數(shù)據(jù)集轉(zhuǎn)換器編碼器。實驗結(jié)果顯示，在多個計算機視覺數(shù)據(jù)集上，該方法一致地達到了最先進的結(jié)果，與一次性NAS方法的速度相當。

掃碼添加小享，回復“GNN精選”

免費獲取全部論文+源代碼合集

2022年

1. Graph neural network for traffic forecasting: A survey

Expert Syst. Appl.(2022)

2. Improving graph neural network expressivity via subgraph isomorphism counting

IEEE TPAMI (2022)

3. Federated social recommendation with graph neural network

ACM T INTEL SYST TEC

4. Multiphysical graph neural network (MP-GNN) for COVID-19 drug design

BRIEF BIOINFORM(2022)

5. GRIP: A graph neural network accelerator architecture

IEEE T-C (2022)

6. Data-augmentation for graph neural network learning of the relaxed energies of unrelaxed structures

NPJ COMPUT MATER ?(2022)

7. ConGNN: Context-consistent cross-graph neural network for group emotion recognition in the wild

Information Sciences(2022)

8. A Self-supervised Mixed-curvature Graph Neural Network

AAAI 2022

9. Explainability in graph neural networks: A taxonomic survey

IEEE TPAMI (2022).

10. Graphlime: Local interpretable model explanations for graph neural networks

IEEE KDE (2022).

11. Graph neural networks in network neuroscience

IEEE TPAMI (2022).

12. Self-supervised learning of graph neural networks: A unified review

IEEE TPAMI(2022).

13. Protgnn: Towards self-explaining graph neural networks

AAAI 2022

14. Graph neural networks for recommender system

WSDM 2022

15. A machine learning approach for predicting hidden links in supply chain with graph neural networks

INT J PROD RES (2022)

16. My house, my rules: Learning tidying preferences with graph neural networks

CoRL 2022

17. Cf-gnnexplainer: Counterfactual explanations for graph neural networks

AISTATS 2022

18. Model Inversion Attacks against Graph Neural Networks

IEEE KDE (2022). (2022)

19. Probing the rules of cell coordination in live tissues by interpretable machine learning based on graph neural networks

PLOS COMPUT BIOL (2022)

20. Graph neural networks for particle tracking and reconstruction

21. Deep reinforcement learning meets graph neural networks: Exploring a routing optimization use case

Computer Communications (2022)

22. Understanding pooling in graph neural networks

IEEE T NEUR NET LEAR (2022).

23. Discovering invariant rationales for graph neural networks

ICLR 2022

24. AEGNN: Asynchronous Event-based Graph Neural Networks

CVPR 2022

25. Learning graph normalization for graph neural networks

Neurocomputing 2022

26. Orphicx: A causality-inspired latent variable model for interpreting graph neural networks

CVPR 2022

掃碼添加小享，回復“GNN精選”

免費獲取全部論文+源代碼合集