圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類專門(mén)針對(duì)圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，在社交網(wǎng)絡(luò)分析、知識(shí)圖譜等領(lǐng)域中取得了不錯(cuò)的效果。近來(lái)，相關(guān)研究人員在GNN的可解釋性、架構(gòu)搜索、對(duì)比學(xué)習(xí)等方面做了很多探究。

本周精選了10篇GNN領(lǐng)域的優(yōu)秀論文，來(lái)自清華大學(xué)、慕尼黑大學(xué)、南京大學(xué)等機(jī)構(gòu)。

為了方便大家閱讀，只列出了論文標(biāo)題、作者、ChatPaper綜述等信息，如果感興趣可掃碼查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

1. Graph Contrastive Learning with Generative Adversarial Network

https://www.aminer.cn/pub/64af9a0b3fda6d7f065a706c/

ChatPaper綜述：本文提出了一種用于圖神經(jīng)網(wǎng)絡(luò) (GNN) 的生成對(duì)抗性圖對(duì)比學(xué)習(xí) (GACN) 方法，以解決實(shí)際應(yīng)用中普遍存在的標(biāo)簽稀缺問(wèn)題。GACN 通過(guò)生成對(duì)抗網(wǎng)絡(luò) (GAN) 學(xué)習(xí)視圖分布，自動(dòng)捕捉圖的特征進(jìn)行增強(qiáng)，并聯(lián)合訓(xùn)練 GAN 模型和 GCL 模型。具體來(lái)說(shuō)，GACN 包括一個(gè)視圖生成器和一個(gè)視圖判別器，在自適應(yīng)式增強(qiáng)中生成增強(qiáng)視圖。然后，GACN 利用這些視圖訓(xùn)練一個(gè)具有兩種精心設(shè)計(jì)的自監(jiān)督學(xué)習(xí)損失的 GNN 編碼器，包括圖對(duì)比損失和貝葉斯個(gè)性化排名損失。此外，我們?cè)O(shè)計(jì)了一個(gè)優(yōu)化框架來(lái)聯(lián)合訓(xùn)練所有 GACN 模塊。在七個(gè)真實(shí)數(shù)據(jù)集上的廣泛實(shí)驗(yàn)證明，GACN 能夠?yàn)?GCL 生成高質(zhì)量的增強(qiáng)視圖，并且優(yōu)于十二個(gè)最先進(jìn)的基線方法。值得注意的是，我們提出的 GACN 驚人地發(fā)現(xiàn)，數(shù)據(jù)增強(qiáng)生成的視圖最終符合在線網(wǎng)絡(luò)中著名的優(yōu)先連接規(guī)則。

2.?DiffusAL: Coupling Active Learning with Graph Diffusion for Label-Efficient Node Classification

https://www.aminer.cn/pub/64c9d51e3fda6d7f0637c889/

ChatPaper綜述：本文介紹了一種新穎的活性圖學(xué)習(xí)方法 DiffusAL，該方法通過(guò)結(jié)合圖擴(kuò)散策略和三種獨(dú)立的評(píng)分函數(shù)，以參數(shù)無(wú)關(guān)的方式識(shí)別最具信息量的節(jié)點(diǎn)樣本進(jìn)行標(biāo)簽。DiffusAL 在不同設(shè)置中表現(xiàn)出顯著的魯棒性，并能夠有效地利用標(biāo)簽預(yù)算。與現(xiàn)有方法不同，DiffusAL 顯著超越了隨機(jī)選擇，在大多數(shù)數(shù)據(jù)集和標(biāo)簽預(yù)算下的表現(xiàn)均優(yōu)于現(xiàn)有方法。

3.LaplaceConfidence: a Graph-based Approach for Learning with Noisy Labels

https://www.aminer.cn/pub/64c88ca43fda6d7f06268af9/

ChatPaper綜述：本文提出了一種基于圖的學(xué)習(xí)方法 LaplaceConfidence,用于處理帶有噪音標(biāo)簽的機(jī)器學(xué)習(xí)問(wèn)題。在實(shí)際應(yīng)用中，完美的標(biāo)簽很少可用，這使得開(kāi)發(fā)穩(wěn)健的機(jī)器學(xué)習(xí)算法來(lái)處理噪音標(biāo)簽變得具有挑戰(zhàn)性。最近的方法主要集中在根據(jù)模型預(yù)測(cè)和給定噪音標(biāo)簽之間的差異來(lái)過(guò)濾噪音，假設(shè)分類損失較小的樣本是干凈的。與此不同，LaplaceConfidence 通過(guò)利用數(shù)據(jù)中的豐富表示和拓?fù)湫畔?，利用拉普拉斯能量?lái)獲得標(biāo)簽置信度 (即干凈概率)。具體而言，它首先根據(jù)所有噪音樣本的特征表示構(gòu)建圖，并最小化拉普拉斯能量以生成低能量圖。干凈標(biāo)簽應(yīng)該適應(yīng)低能量圖，而噪音標(biāo)簽則不應(yīng)該，從而使我們的方法能夠確定數(shù)據(jù)的干凈概率。此外，LaplaceConfidence 被嵌入到一個(gè)整體的穩(wěn)健訓(xùn)練方法中，其中共同訓(xùn)練技術(shù)生成無(wú)偏的標(biāo)簽置信度，標(biāo)簽修復(fù)技術(shù)更好地利用它。我們還探討了降維技術(shù)，以適應(yīng)我們的方法在大型噪音數(shù)據(jù)集上。實(shí)驗(yàn)結(jié)果表明，LaplaceConfidence 在基準(zhǔn)數(shù)據(jù)集和實(shí)際噪音數(shù)據(jù)集下均優(yōu)于最先進(jìn)的方法。

4.TFE-GNN: A Temporal Fusion Encoder Using Graph Neural Networks for Fine-grained Encrypted Traffic Classification

https://www.aminer.cn/pub/6449f232582c1376bb22390f/

ChatPaper綜述：這篇論文提出了一種名為 TFE-GNN 的模型，用于細(xì)粒度的加密流量分類?，F(xiàn)有的方法只能提取流級(jí)別的特征，無(wú)法處理短的流量，因?yàn)樗鼈兊慕y(tǒng)計(jì)特性不可靠，或者將頭部和負(fù)載同等對(duì)待，無(wú)法挖掘字節(jié)之間的潛在相關(guān)性。因此，本文提出了一種基于點(diǎn)間互信息 (PMI) 的字節(jié)級(jí)流量圖構(gòu)建方法，以及一種使用圖神經(jīng)網(wǎng)絡(luò) (GNN) 進(jìn)行特征提取的模型。具體來(lái)說(shuō)，我們?cè)O(shè)計(jì)了一個(gè)雙嵌入層、基于 GNN 的流量圖編碼器以及一個(gè)交叉門(mén)控特征融合機(jī)制，可以將頭部和負(fù)載字節(jié)分別嵌入，然后將它們?nèi)诤显谝黄?，獲得更強(qiáng)的特征表示。在兩個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，TFE-GNN 在細(xì)粒度的加密流量分類任務(wù)中優(yōu)于多種最先進(jìn)的方法。

5.HUGE: Huge Unsupervised Graph Embeddings with TPUs

https://www.aminer.cn/pub/64af9a003fda6d7f065a65ef/

ChatPaper綜述：這篇論文介紹了一種名為 HUGE 的用于大規(guī)模無(wú)監(jiān)督圖形嵌入的高性能架構(gòu)，該架構(gòu)利用了 Tensor Processing Units(TPUs) 的可配置高帶寬內(nèi)存，以簡(jiǎn)化圖形嵌入問(wèn)題，并能夠擴(kuò)展到數(shù)十億個(gè)節(jié)點(diǎn)和數(shù)萬(wàn)億個(gè)邊的圖形。在實(shí)際和合成的大規(guī)模數(shù)據(jù)集上進(jìn)行了嵌入空間質(zhì)量的驗(yàn)證。該研究旨在滿足工業(yè)和學(xué)術(shù)界在處理大量網(wǎng)絡(luò)數(shù)據(jù)時(shí)快速分析圖形的需求。

6.TimeGNN: Temporal Dynamic Graph Learning for Time Series Forecasting

https://www.aminer.cn/pub/64c33db93fda6d7f069577a0/

ChatPaper綜述：這篇論文介紹了一種用于時(shí)間序列預(yù)測(cè)的新方法 TimeGNN。TimeGNN 是一種基于圖神經(jīng)網(wǎng)絡(luò)的時(shí)序動(dòng)態(tài)圖學(xué)習(xí)方法，能夠?qū)W習(xí)動(dòng)態(tài)時(shí)間圖表示，捕捉多系列之間的相關(guān)性和演化模式。與現(xiàn)有的基于圖的方法相比，TimeGNN 的推理速度提高了 4 到 80 倍，同時(shí)預(yù)測(cè)性能保持相當(dāng)。該方法在許多科學(xué)和工程領(lǐng)域的實(shí)際應(yīng)用中具有重要核心地位。

7.Efficient Learning of Discrete-Continuous Computation Graphs

https://www.aminer.cn/pub/61a8853b6750f82b17638bb6/

ChatPaper綜述：本文主要研究了如何高效地學(xué)習(xí)離散-- 連續(xù)計(jì)算圖，這種計(jì)算圖廣泛應(yīng)用于監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)中的各種模型，具有可組合性、更好泛化能力和更強(qiáng)解釋性的優(yōu)點(diǎn)。一種流行的構(gòu)建離散-- 連續(xù)計(jì)算圖的方法是將離散概率分布集成到神經(jīng)網(wǎng)絡(luò)中，使用隨機(jī)軟最大趨勢(shì)。以前的工作主要關(guān)注具有單個(gè)離散組件的計(jì)算圖的執(zhí)行路徑。本文分析了更復(fù)雜的具有多個(gè)序列離散組件的隨機(jī)計(jì)算圖的行為。我們發(fā)現(xiàn)，優(yōu)化這些模型的參數(shù)是具有挑戰(zhàn)性的，主要是由于梯度較小和局部最小值。為了克服這些挑戰(zhàn)，我們提出了兩種新策略。首先，我們表明，在訓(xùn)練過(guò)程中增加 Gumbel 噪聲擾動(dòng)的尺度參數(shù)可以改善學(xué)習(xí)行為。其次，我們提出了一種專門(mén)針對(duì)隨機(jī)、離散-- 連續(xù)計(jì)算圖的 dropout 殘差連接。通過(guò)廣泛的實(shí)驗(yàn)，我們證明了我們可以使用標(biāo)準(zhǔn)隨機(jī)軟最大趨勢(shì)無(wú)法訓(xùn)練的復(fù)雜離散-- 連續(xù)模型，并且這些復(fù)雜離散-- 隨機(jī)模型在幾個(gè)基準(zhǔn)數(shù)據(jù)集上的泛化能力比其連續(xù)對(duì)照要好。

8.Self-Supervised Graph Transformer for Deepfake Detection

https://www.aminer.cn/pub/64c33dc33fda6d7f0695873b/

ChatPaper綜述：本論文提出了一種用于深度偽造檢測(cè)的自監(jiān)督圖變換器框架，以解決現(xiàn)有方法在測(cè)試未見(jiàn)過(guò)的樣本時(shí)性能下降的問(wèn)題。該框架包括三個(gè)關(guān)鍵組件：基于視覺(jué) Transformer 架構(gòu)的特征提取器，通過(guò)自監(jiān)督對(duì)比學(xué)習(xí)方法進(jìn)行預(yù)訓(xùn)練;與 Transformer 判別器耦合的圖卷積網(wǎng)絡(luò);以及提供操縱區(qū)域更好理解并進(jìn)一步解釋模型決策的圖 Transformer 相關(guān)性圖。為了評(píng)估所提出框架的有效性，進(jìn)行了多項(xiàng)挑戰(zhàn)性實(shí)驗(yàn)，包括在數(shù)據(jù)分布內(nèi)的性能、跨數(shù)據(jù)集、跨操縱的一般化、以及對(duì)常見(jiàn)后處理擾動(dòng)的魯棒性。實(shí)驗(yàn)結(jié)果表明，所提出的深度偽造檢測(cè)框架在有效性方面超過(guò)了當(dāng)前的最先進(jìn)方法。

9.Graph Condensation for Inductive Node Representation Learning

https://www.aminer.cn/pub/64c88ca33fda6d7f062686fe/

ChatPaper綜述：關(guān)于一種稱為"圖凝縮"的技術(shù)，用于處理大規(guī)模圖時(shí)遇到的計(jì)算難題，同時(shí)保留性能。然而，由于節(jié)點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)，圖凝縮僅限于僅凝縮觀察到的訓(xùn)練節(jié)點(diǎn)及其相應(yīng)結(jié)構(gòu)，從而缺乏處理未見(jiàn)數(shù)據(jù)的能力。因此，在推理階段，仍然需要原始的大圖來(lái)進(jìn)行消息傳遞以誘導(dǎo)節(jié)點(diǎn)，導(dǎo)致計(jì)算需求很大。為了克服這個(gè)問(wèn)題，作者提出了一種名為"映射感知圖凝縮"(MCond) 的方法，該方法顯式地從原始節(jié)點(diǎn)到合成節(jié)點(diǎn)學(xué)習(xí)一對(duì)一的節(jié)點(diǎn)映射，將新節(jié)點(diǎn)無(wú)縫集成到合成圖中進(jìn)行歸納表示學(xué)習(xí)。這使得能夠在合成圖上進(jìn)行直接的信息傳播，比在大型原始圖上要高效得多。具體來(lái)說(shuō)，MCond 采用交替優(yōu)化方案和創(chuàng)新?lián)p失項(xiàng)，從歸納和誘導(dǎo)兩個(gè)角度促進(jìn)圖凝縮和節(jié)點(diǎn)映射學(xué)習(xí)的相互促進(jìn)。廣泛的實(shí)驗(yàn)證明了作者方法在歸納推理中的有效性。在 Reddit 數(shù)據(jù)集上，MCond 實(shí)現(xiàn)了高達(dá) 121.5 倍的推理速度提升和 55.9 倍的存儲(chǔ)需求減少，與基于原始圖的對(duì)照方法相比。

10.MUSE: Multi-View Contrastive Learning for Heterophilic Graphs

https://www.aminer.cn/pub/64c88ca43fda6d7f0626874e/

ChatPaper綜述：近年來(lái)，自監(jiān)督學(xué)習(xí)已成為解決傳統(tǒng) GNNs 中標(biāo)簽依賴性和一般化性能不佳問(wèn)題的有前景的方法。然而，現(xiàn)有的自監(jiān)督方法在異質(zhì)圖中的效果有限，因?yàn)橥|(zhì)性假設(shè)導(dǎo)致連接節(jié)點(diǎn)具有類似的節(jié)點(diǎn)表示。在本工作中，我們提出了一種用于異質(zhì)圖的多視圖對(duì)比學(xué)習(xí)模型，即 MUSE。具體來(lái)說(shuō)，我們通過(guò)使用增強(qiáng)對(duì)比學(xué)習(xí)的 GNN 分別構(gòu)建兩個(gè)視圖，以捕捉 ego 節(jié)點(diǎn)及其鄰居的信息。然后，我們將這兩個(gè)視圖中的信息整合起來(lái)融合節(jié)點(diǎn)表示。利用融合對(duì)比來(lái)提高融合節(jié)點(diǎn)表示的有效性。此外，考慮到鄰居上下文信息對(duì)信息融合的影響可能因不同的 ego 節(jié)點(diǎn)而異，我們采用信息融合控制器來(lái)建模局部和全局節(jié)點(diǎn)鄰居相似性的多樣性。最后，采用交替訓(xùn)練方案，確保無(wú)監(jiān)督節(jié)點(diǎn)表示學(xué)習(xí)和信息融合控制器可以相互加強(qiáng)。我們?cè)?9 個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行廣泛的實(shí)驗(yàn)，以評(píng)估 MUSE 的性能。我們的結(jié)果表明，MUSE 在節(jié)點(diǎn)分類和聚類任務(wù)上都非常有效。