????????近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域大放異彩。這些領(lǐng)域所面對的數(shù)據(jù)都是結(jié)構(gòu)化的，如圖像、音頻、文本等，它們內(nèi)部都有明確的排列規(guī)則。結(jié)構(gòu)化的數(shù)據(jù)由于具有這些確定的規(guī)則而方便處理，但是在現(xiàn)實(shí)生活中，非結(jié)構(gòu)化的關(guān)系數(shù)據(jù)才是主流。我們無時(shí)無刻不在面臨著關(guān)系數(shù)據(jù)：構(gòu)成物質(zhì)的分子是一種由各種原子組成的關(guān)系網(wǎng)絡(luò)；人類社會(huì)是一種以人為節(jié)點(diǎn)組成的社交網(wǎng)絡(luò)；整個(gè)宇宙更是一種異質(zhì)、非均勻的大型網(wǎng)絡(luò)。有實(shí)體的地方一定有關(guān)系，關(guān)系中同樣蘊(yùn)藏著豐富的信息。與一般的深度學(xué)習(xí)方法不同，圖神經(jīng)網(wǎng)絡(luò)（GNN）是一種可用來從網(wǎng)絡(luò)（圖）提取信息的方法，在原有特征的基礎(chǔ)上，它進(jìn)一步結(jié)合網(wǎng)絡(luò)（圖）的結(jié)構(gòu)來學(xué)習(xí)更全面的節(jié)點(diǎn)表示，從而使下游任務(wù)有更好的表現(xiàn)。

? ? ? 圖卷積網(wǎng)絡(luò)是 GNN 的其中一類，本文主要對圖卷積做一個(gè)簡單的概述，包括問題分類、圖卷積原理以及 GCN 的變種。之后再通過一個(gè)簡單的論文分類應(yīng)用來加深對圖卷積的理解。

1 圖卷積概述

1.1 問題分類

????????GNN 所面臨的問題大體可分為三個(gè)層面：節(jié)點(diǎn)級(jí)別的，如節(jié)點(diǎn)的分類任務(wù)；邊級(jí)別的，如邊的預(yù)測任務(wù)；圖級(jí)別的，如圖的分類任務(wù)。其中節(jié)點(diǎn)級(jí)別與邊級(jí)別的任務(wù)本質(zhì)都為學(xué)習(xí)節(jié)點(diǎn)的表示，而圖級(jí)別的任務(wù)則是學(xué)習(xí)圖的表示。這些問題也有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分。

1.2 核心思想

????????圖卷積有許多變種，其原型是GCN（圖卷積網(wǎng)絡(luò)），這里以 GCN 為例來展現(xiàn)圖卷積的核心思想。卷積神經(jīng)網(wǎng)絡(luò)是眾多深度網(wǎng)絡(luò)的核心，因此在探究基于圖的學(xué)習(xí)算法時(shí)，研究人員也嘗試將“卷積”引入，GCN 應(yīng)運(yùn)而生。GCN 可從兩個(gè)層面進(jìn)行理解，一種是基于圖信號(hào)處理的角度，另一種是基于空間信息聚合的角度。圖信號(hào)處理更本質(zhì)，空間信息聚合則更直觀。

1.2.1 圖信號(hào)處理

1.2.2 空間信息聚合

????????如果不管 GCN 的數(shù)學(xué)推導(dǎo)，僅觀察最終 GCN 的計(jì)算方式，可發(fā)現(xiàn)它就是先將圖節(jié)點(diǎn)特征X通過一個(gè)全連接網(wǎng)絡(luò)，再基于圖結(jié)構(gòu)進(jìn)行一階鄰域信息的聚合，如圖 2.1 所示。當(dāng)有多層卷積時(shí)，GCN 相當(dāng)于將節(jié)點(diǎn)的多階鄰域信息聚合，即每個(gè)節(jié)點(diǎn)都可以看到更遠(yuǎn)的特征與結(jié)構(gòu)。以這種角度看 GCN 則已經(jīng)完全沒有了卷積的概念，只剩下空間中的信息聚合。

圖 2.1 節(jié)點(diǎn)信息的空間聚合示意

????????盡管譜卷積有優(yōu)美的數(shù)學(xué)推導(dǎo)，但目前空間卷積比譜卷積更受研究人員的青睞，這主要是因?yàn)樽V卷積有很多限制。運(yùn)用譜卷積時(shí)需要輸入整圖進(jìn)行學(xué)習(xí)，一旦圖的尺度非常大，該方法就需要耗費(fèi)極大的空間、時(shí)間復(fù)雜度，因此譜卷積對于圖尺度的魯棒性不佳。也正是因?yàn)樽V卷積需要明確整圖，所以它屬于直推式（Transductive）方法，即它需要在訓(xùn)練過程中就看見包括測試數(shù)據(jù)在內(nèi)的所有信息，而現(xiàn)實(shí)應(yīng)用一般都要求算法是歸納式（Inductive）的，即能歸納出訓(xùn)練集的規(guī)律，將其用在未知的數(shù)據(jù)集上。與之相比，空間卷積的定義更加靈活，可以根據(jù)不同的需求設(shè)計(jì)出不同的結(jié)構(gòu)，因此它可以更好的規(guī)避這些不足。

????????然而，不斷簡化后的 GCN 已經(jīng)沒有了“卷積” 的影子， 因此它也可直接作為歸納式方法使用。

1.3 GCN 的變種

????????從空間角度進(jìn)行推導(dǎo)，可根據(jù)不同的信息聚合方式定義不同的 GCN，比較經(jīng)典的有 GAT 與 GrahSAGE 等。GCN 在聚合鄰域信息時(shí)對鄰域節(jié)點(diǎn)一視同仁，如圖 2.2(a) 所示，GAT 則進(jìn)一步學(xué)習(xí)每個(gè)鄰域節(jié)點(diǎn)的信息對當(dāng)前節(jié)點(diǎn)的重要程度，圖中不同顏色代表了聚合時(shí)需要乘上不同的權(quán)重。GraphSAGE 是加強(qiáng)版 Inductive 形式的 GCN，它將節(jié)點(diǎn)的信息聚合分成采樣與聚合兩個(gè)步驟。如圖 2.2(b) 所示，黃色節(jié)點(diǎn)為被選中的信息聚合節(jié)點(diǎn)，并且在聚合過程中使用 pooling、LSTM 等方法。

圖 2.2 GAT 與 GraphSAGE 信息聚合示意

????????GCN 的變種還有很多，根據(jù)不同的應(yīng)用場合可設(shè)計(jì)特定的聚合方式，如在交通流量預(yù)測任務(wù)中有時(shí)空圖卷積 STGCN，在金融反欺詐任務(wù)有 GenePath、GEM 等變種。

2 基于 GCN 的論文分類

2.1 數(shù)據(jù)集

????????本實(shí)驗(yàn)所用的數(shù)據(jù)集為 Cora、Citeseer、PubMed [2]。表 2.1 展示了各數(shù)據(jù)集的詳細(xì)信息。

????????數(shù)據(jù)集包含每篇論文的稀疏詞袋特征向量和論文之間的引用鏈接列表，并將引文鏈接視為無向的邊，以此可構(gòu)建一個(gè)二進(jìn)制的、對稱的鄰接矩陣。每篇論文都有一個(gè)類標(biāo)簽。在訓(xùn)練時(shí)，將數(shù)據(jù)集按節(jié)點(diǎn)隨機(jī)分為有標(biāo)簽節(jié)點(diǎn)與無標(biāo)簽節(jié)點(diǎn)，比例為2:8.

2.2 模型

????????論文分類任務(wù)相對簡單，用基礎(chǔ)的 GCN 就能完成，設(shè)計(jì)如圖2.1所示的模型。

圖 2.1 基于 GCN 的論文分類模型

????????每個(gè)節(jié)點(diǎn)都代表一篇論文，邊則代表論文之間存在的引用關(guān)系。節(jié)點(diǎn)的初始特征為論文的詞袋。上述模型表示先通過若干層 GCN 學(xué)習(xí)節(jié)點(diǎn)的表示，使之含有引用信息，最后基于學(xué)習(xí)到的表示通過全連接層做的分類。

? ? ?????該任務(wù)屬于半監(jiān)督學(xué)習(xí)，因此在學(xué)習(xí)過程中，只根據(jù)有標(biāo)簽的節(jié)點(diǎn)所產(chǎn)生的損失進(jìn)行梯度下降。

2.3 算法實(shí)現(xiàn)細(xì)節(jié)

????????圖 2.2 展示了所設(shè)置的模型具體參數(shù)及其前向傳播過程（以Cora數(shù)據(jù)集為例）。

圖 2.2 某組參數(shù)下模型的前向傳播過程

????????算法實(shí)現(xiàn)可基于 PyTorch Geometry 工具包，數(shù)據(jù)集管理、GCN 層的實(shí)現(xiàn)可直接調(diào)用了 api 函數(shù)。優(yōu)化器采用 adam，學(xué)習(xí)率設(shè)為 0.002，衰減率為 5e-4. Epoch設(shè)為 200，bachsize 為整體數(shù)據(jù)集的大小。使用交叉熵為模型的損失函數(shù)。

2.4 結(jié)果分析

2.4.1 兩層 GCN 網(wǎng)絡(luò)

????????按上述參數(shù)進(jìn)行實(shí)驗(yàn)，模型訓(xùn)練過程的精度曲線與損失曲線如圖2.3所示

圖 2.3 精度曲線與損失曲線

????????模型訓(xùn)練非?？?，且最終效果都不錯(cuò)，在 Cora、citeseer 以及 PubMed 數(shù)據(jù)集上分別可以達(dá)到 82.4%、70.0%、85.3% 的精度。每個(gè)數(shù)據(jù)集各訓(xùn)練 5 次取平均后可得到平均分類精度為 78.36% 。由此可得 GCN 對圖數(shù)據(jù)的信息提取能力非常強(qiáng)。

2.4.2 16 層 GCN 網(wǎng)絡(luò)

????????進(jìn)一步探索不同數(shù)量的 GCN 層對于模型性能的影響，圖 2.4 為 當(dāng)GCN層堆疊到16層時(shí)模型訓(xùn)練過程的精度曲線與損失曲線。

圖 2.4 16 層 GCN 時(shí)的訓(xùn)練過程

????????訓(xùn)練結(jié)果顯示不僅精度沒有上升，層數(shù)直接影響了整個(gè)訓(xùn)練過程。這是因?yàn)?GCN 的本質(zhì)是節(jié)點(diǎn)鄰域間的信息聚合，N層表示 N級(jí)鄰域，由于該圖比較小，圖的直徑也比較小，節(jié)點(diǎn)在跳躍16次之后基本可以到達(dá)任意節(jié)點(diǎn)，這也就意味著當(dāng)經(jīng)過 16 層的信息聚合后，每個(gè)節(jié)點(diǎn)的信息包含了整個(gè)圖的信息，這間接縮小了每個(gè)節(jié)點(diǎn)之間的相似性，對節(jié)點(diǎn)分類任務(wù)而言增加了難度。

這個(gè)例子從反面表現(xiàn)出 GCN 的工作原理，且表明了 GCN 的層數(shù)應(yīng)依據(jù)網(wǎng)絡(luò)的大小而定，有時(shí)本意是希望通過GCN 學(xué)習(xí)到節(jié)點(diǎn)局部子圖的信息，但當(dāng)層數(shù)過多時(shí)，它實(shí)際早已學(xué)到了整個(gè)圖的全局信息。

參考文獻(xiàn)

1. Kipf T N , Welling M . Semi-Supervised Classification with Graph Convolutional Networks[J]. 2016.

2. Yang, Zhilin , W. W. Cohen , and R. Salakhutdinov . "Revisiting Semi-Supervised Learning with Graph Embeddings. " International Conference on International Conference on Machine Learning JMLR.org, 2016.

掃碼進(jìn)入Mo網(wǎng)址，一個(gè)支持模型快速開發(fā)與部署的人工智能建模平臺(tái)，快來探索吧?。?！