文章目錄

一.知識圖譜與圖神經(jīng)網(wǎng)絡(luò)的關(guān)系

1.時代特性

2.結(jié)構(gòu)特性

3.應(yīng)用特性

二.圖神經(jīng)網(wǎng)絡(luò)知識體系

1.GNN簡介

2.GNN的通用設(shè)計(jì)流程

2.1 查找圖結(jié)構(gòu)

2.2 明確圖類型和規(guī)模

2.3 設(shè)計(jì)損失函數(shù)

2.4 通過計(jì)算模塊構(gòu)造模型

3.GNN的應(yīng)用

3.1 GNN在知識圖譜中的應(yīng)用

3.1.1 知識圖譜表示學(xué)習(xí)

3.1.2 信息抽取

3.1.3 實(shí)體消歧

3.1.4 實(shí)體對齊

3.1.5 鏈接預(yù)測

3.1.6 知識推理

3.2 GNN在推薦系統(tǒng)中的應(yīng)用

3.3 GNN在NLP中的應(yīng)用

三.總結(jié)與展望

一.知識圖譜與圖神經(jīng)網(wǎng)絡(luò)的關(guān)系

1.時代特性

在AI感知時代，深度學(xué)習(xí)雖然在圖像識別、語音識別等感知領(lǐng)域取得了矚目的成績，但是現(xiàn)有的深度學(xué)習(xí)系統(tǒng)被公認(rèn)缺乏可解釋性、常識以及推理能力。而作為AI認(rèn)知時代的核心組成部分，常識和推理是不可或缺的。作為全球最具前瞻性的人工智能領(lǐng)軍企業(yè)Google先后提出“知識圖譜”與“圖神經(jīng)網(wǎng)絡(luò)”，引發(fā)了國內(nèi)外無數(shù)研究者的關(guān)注與追捧，故而我們有理由相信知識圖譜和圖神經(jīng)網(wǎng)絡(luò)在即將全面到來的AI認(rèn)知時代，便是給深度學(xué)習(xí)插上“常識”和“推理”雙翼，全面進(jìn)入“認(rèn)知+推理”時代的核心AI技術(shù)驅(qū)動。

2.結(jié)構(gòu)特性

此外，考慮到知識圖譜本身恰好就是一種圖結(jié)構(gòu)數(shù)據(jù)，因此采用圖構(gòu)建知識和數(shù)據(jù)之間的關(guān)聯(lián)，同時應(yīng)用圖神經(jīng)網(wǎng)絡(luò)技術(shù)，有望結(jié)合知識和數(shù)據(jù)實(shí)現(xiàn)更好的可解釋和可信人工智能技術(shù)。一方面，利用圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)節(jié)點(diǎn)、邊表示上的優(yōu)勢，可以更好地學(xué)習(xí)知識圖譜的實(shí)體、關(guān)系的嵌入表示，改善關(guān)系抽取等任務(wù)，幫助構(gòu)建知識圖譜，以及提高鏈接預(yù)測等任務(wù)，幫助補(bǔ)全知識圖譜；另一方面，利用圖神經(jīng)網(wǎng)絡(luò)在信息傳播和推理上的優(yōu)勢，可以更有效地在應(yīng)用任務(wù)中引入知識圖譜中的信息，從而改善如文本挖掘、推薦系統(tǒng)、計(jì)算機(jī)視覺等領(lǐng)域中的應(yīng)用效果，提供可解釋的模型。

3.應(yīng)用特性

描述常識和事實(shí)的知識圖譜是學(xué)術(shù)界和工業(yè)界廣泛使用的知識表示方式，采用圖構(gòu)建知識和數(shù)據(jù)之間的關(guān)聯(lián)，是一種直接且有效的將知識和數(shù)據(jù)結(jié)合的方式。受益于圖神經(jīng)網(wǎng)絡(luò)技術(shù)在信息傳播和推理上的優(yōu)勢，知識圖譜中的先驗(yàn)知識被有效地引入到應(yīng)用任務(wù)中。

由于知識圖譜可以表征實(shí)體之間結(jié)構(gòu)化的關(guān)系，如今已經(jīng)成為認(rèn)知和人工智能領(lǐng)域重要的研究方向。圖神經(jīng)網(wǎng)絡(luò)利用深度神經(jīng)網(wǎng)絡(luò)對圖數(shù)據(jù)中的拓?fù)浣Y(jié)構(gòu)信息和屬性特征信息進(jìn)行整合，進(jìn)而提供更精細(xì)的節(jié)點(diǎn)或子結(jié)構(gòu)的特征表示，并能很方便地以解耦或端到端的方式與下游任務(wù)結(jié)合，巧妙地滿足了知識圖譜對學(xué)習(xí)實(shí)體、關(guān)系的屬性特征和結(jié)構(gòu)特征的要求。

二.圖神經(jīng)網(wǎng)絡(luò)知識體系

1.GNN簡介

圖神經(jīng)網(wǎng)絡(luò) ( Graph Neural Networks，GNN) 是通過圖節(jié)點(diǎn)之間的消息傳遞來捕獲圖的依賴關(guān)系的神經(jīng)模型。近年來，圖卷積網(wǎng)絡(luò) (GCN)、圖注意力網(wǎng)絡(luò) (GAT)、圖遞歸網(wǎng)絡(luò) (GRN) 等 GNN 的變體在許多深度學(xué)習(xí)任務(wù)上都表現(xiàn)出了突破性的表現(xiàn)。圖神經(jīng)網(wǎng)絡(luò) (GNN) 是在圖域上運(yùn)行的基于深度學(xué)習(xí)的方法。 由于其令人信服的性能，GNN 最近已成為一種廣泛應(yīng)用的圖分析方法。

2.GNN的通用設(shè)計(jì)流程

GNN模型的通用設(shè)計(jì)流程通常包含四個步驟：a)查找圖結(jié)構(gòu)；b)明確圖類型和規(guī)模；c)設(shè)計(jì)損失函數(shù)；d)構(gòu)建模型。

2.1 查找圖結(jié)構(gòu)

首先必須找出應(yīng)用中的圖結(jié)構(gòu)。 通常有兩種場景：結(jié)構(gòu)化場景和非結(jié)構(gòu)化場景。 在結(jié)構(gòu)化場景中，圖結(jié)構(gòu)在應(yīng)用中是明確的，例如在分子、物理系統(tǒng)、知識圖譜等方面的應(yīng)用。 在非結(jié)構(gòu)化場景中，圖是隱式的，因此我們必須首先從任務(wù)中構(gòu)建圖，例如為文本構(gòu)建全連接的“單詞”圖或?yàn)閳D像構(gòu)建場景圖。 在我們得到圖之后，后面的設(shè)計(jì)過程會嘗試在這個特定的圖上找到一個最優(yōu)的 GNN 模型。

2.2 明確圖類型和規(guī)模

在應(yīng)用中獲取圖后，我們必須找出圖類型及其規(guī)模。 具有復(fù)雜類型的圖可以提供有關(guān)節(jié)點(diǎn)及其連接的更多信息。 圖通常分為以下幾類：

有向/無向圖。 有向圖中的邊都是從一個節(jié)點(diǎn)指向另一個節(jié)點(diǎn)的，這比無向圖提供了更多的信息。 無向圖中的每條邊也可以視為兩條有向邊；

同構(gòu)/異構(gòu)圖。 同構(gòu)圖中的節(jié)點(diǎn)和邊具有相同的類型，而異構(gòu)圖中的節(jié)點(diǎn)和邊具有不同的類型。 節(jié)點(diǎn)和邊的類型在異構(gòu)圖中起著重要作用，應(yīng)進(jìn)一步考慮。

靜態(tài)/動態(tài)圖。 當(dāng)輸入特征或圖的拓?fù)潆S時間變化時，該圖被視為動態(tài)圖。 在動態(tài)圖中應(yīng)仔細(xì)考慮時間信息。

一旦明確了圖類型，這些圖類型提供的附加信息應(yīng)該在設(shè)計(jì)過程中進(jìn)一步考慮。

至于圖規(guī)模，“小”和“大”圖沒有明確的分類標(biāo)準(zhǔn)。 隨著計(jì)算設(shè)備的發(fā)展（例如 GPU 的速度和內(nèi)存），該標(biāo)準(zhǔn)仍在發(fā)生變化。 當(dāng)一個圖的鄰接矩陣或圖拉普拉斯算子不能被設(shè)備存儲和處理時，我們將圖視為一個大規(guī)模圖，然后應(yīng)該考慮一些采樣方法。

2.3 設(shè)計(jì)損失函數(shù)

根據(jù)任務(wù)類型和訓(xùn)練設(shè)置來設(shè)計(jì)損失函數(shù)。 對于圖學(xué)習(xí)任務(wù)，通常有以下三種任務(wù)：

節(jié)點(diǎn)級任務(wù)側(cè)重于節(jié)點(diǎn)，包括節(jié)點(diǎn)分類、節(jié)點(diǎn)回歸、節(jié)點(diǎn)聚類等。節(jié)點(diǎn)分類試圖將節(jié)點(diǎn)分類為若干類，節(jié)點(diǎn)回歸預(yù)測每個節(jié)點(diǎn)的連續(xù)值。 節(jié)點(diǎn)聚類旨在將節(jié)點(diǎn)劃分為幾個不相交的組，其中相似的節(jié)點(diǎn)應(yīng)該在同一個組中。

邊級任務(wù)是邊分類和鏈路預(yù)測，這需要模型對邊類型進(jìn)行分類或預(yù)測兩個給定節(jié)點(diǎn)之間是否存在邊。

圖級任務(wù)包括圖分類、圖回歸和圖匹配，所有這些都需要模型來學(xué)習(xí)圖表示。

從監(jiān)督的角度來看，我們還可以將圖學(xué)習(xí)任務(wù)分為三種不同的訓(xùn)練設(shè)置：

監(jiān)督設(shè)置為訓(xùn)練提供標(biāo)記數(shù)據(jù)；

半監(jiān)督設(shè)置提供少量標(biāo)記節(jié)點(diǎn)和大量未標(biāo)記節(jié)點(diǎn)進(jìn)行訓(xùn)練。 在測試階段，轉(zhuǎn)導(dǎo)設(shè)置要求模型預(yù)測給定未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，而歸納設(shè)置提供來自相同分布的新未標(biāo)記節(jié)點(diǎn)進(jìn)行推斷。 大多數(shù)節(jié)點(diǎn)和邊分類任務(wù)都是半監(jiān)督的。

無監(jiān)督設(shè)置只為模型提供未標(biāo)記的數(shù)據(jù)以查找模式。 節(jié)點(diǎn)聚類是一個典型的無監(jiān)督學(xué)習(xí)任務(wù)。

通過任務(wù)類型和訓(xùn)練設(shè)置，我們可以為任務(wù)設(shè)計(jì)特定的損失函數(shù)。 例如，對于節(jié)點(diǎn)級別的半監(jiān)督分類任務(wù)，交叉熵?fù)p失可以用于訓(xùn)練集中的標(biāo)記節(jié)點(diǎn)。

2.4 通過計(jì)算模塊構(gòu)造模型

GNN中常用的計(jì)算模塊有：

傳播模塊（Propagation Module）。傳播模塊用于在節(jié)點(diǎn)之間傳播信息，以便聚合信息可以捕獲特征和拓?fù)湫畔ⅰ?/p>

卷積算子

循環(huán)算子

跳連接

采樣模塊（Sampling Module）。 當(dāng)圖很大時，通常需要采樣模塊對圖進(jìn)行傳播。 采樣模塊通常與傳播模塊結(jié)合使用。

池化模塊（Pooling Module）。 當(dāng)我們需要高級子圖或圖的表示時，需要池化模塊來從節(jié)點(diǎn)中提取信息。

使用這些計(jì)算模塊，通常通過組合它們來構(gòu)建典型的 GNN 模型。其中卷積算子、循環(huán)算子、采樣模塊和跳過連接用于在每一層中傳播信息，然后添加池化模塊以提取高層信息。這些層通常被堆疊以獲得更好的表示。

3.GNN的應(yīng)用

3.1 GNN在知識圖譜中的應(yīng)用

3.1.1 知識圖譜表示學(xué)習(xí)

知識圖譜表示學(xué)習(xí)，即為知識圖譜中的實(shí)體和關(guān)系學(xué)習(xí)出一個低維度的向量表示，同時包含一些語義信息，從而得以在下游任務(wù)中更加方便地提取和利用知識圖譜中的信息，例如鏈接預(yù)測、常識問答等。通過應(yīng)用圖神經(jīng)網(wǎng)絡(luò)，在學(xué)習(xí)知識圖譜的表示時，每個實(shí)體都將利用到與其相關(guān)的其他實(shí)體中的信息，打破了彼此之間的孤立性，從而學(xué)得更完整更豐富的實(shí)體、關(guān)系表示。

3.1.2 信息抽取

信息抽取是指從非結(jié)構(gòu)化、半結(jié)構(gòu)化文檔或句子中提取結(jié)構(gòu)化信息的技術(shù)，與知識圖譜的構(gòu)建有著密切的聯(lián)系，主要包括命名實(shí)體識別、實(shí)體消歧、關(guān)系抽取、指代消解等任務(wù)。近年來，已有許多研究將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識圖譜的關(guān)系抽取任務(wù)，而在其他任務(wù)上對圖神經(jīng)網(wǎng)絡(luò)的探索還較少。通過圖神經(jīng)網(wǎng)絡(luò)可以對句子內(nèi)或句間詞與詞的關(guān)聯(lián)關(guān)系進(jìn)行有效建模，從而更準(zhǔn)確地捕捉實(shí)體間的關(guān)系。

3.1.3 實(shí)體消歧

實(shí)體消歧，即對于從文本中抽取得到的實(shí)體對象，將其鏈接到知識庫中對應(yīng)的正確實(shí)體對象。如圖3所示，Hu等人提出了一種圖神經(jīng)實(shí)體消歧模型(Graph Neural Entity Disambiguation, GNED)，首先為文檔構(gòu)造實(shí)體–詞異質(zhì)圖，對文檔中的實(shí)體之間的語義關(guān)系進(jìn)行編碼；然后將GCN應(yīng)用于該異質(zhì)圖，獲得語義信息增強(qiáng)的實(shí)體表示；最后采用條件隨機(jī)場來結(jié)合實(shí)體鏈接的局部和全局信息。

3.1.4 實(shí)體對齊

實(shí)體對齊是將從知識圖譜中學(xué)習(xí)到的描述同一目標(biāo)的實(shí)體或概念進(jìn)行合并，再將合并后的實(shí)體集與開放鏈接數(shù)據(jù)中抽取的實(shí)體進(jìn)行合并，旨在融合多個知識圖譜形成一個更完整的知識圖譜。由于圖神經(jīng)網(wǎng)絡(luò)具有識別同構(gòu)子圖的能力，而可對齊的實(shí)體對周圍通常有相似的鄰居，即具有一定的同構(gòu)特征，因此目前有許多研究者嘗試將圖神經(jīng)網(wǎng)絡(luò)用于實(shí)體對齊。

3.1.5 鏈接預(yù)測

鏈接預(yù)測是用于預(yù)測知識圖譜中實(shí)體對之間所缺少關(guān)系的任務(wù)，具有廣泛的應(yīng)用范圍，旨在解決知識圖譜不完整的問題。鏈接預(yù)測與知識圖譜表示學(xué)習(xí)有著不可分割的聯(lián)系，一方面表示學(xué)習(xí)通常需要用鏈接預(yù)測評價優(yōu)劣，另一方面鏈接預(yù)測的模型通常也會學(xué)得實(shí)體和關(guān)系的表示。許多工作利用圖神經(jīng)網(wǎng)絡(luò)為實(shí)體引入鄰實(shí)體和對應(yīng)關(guān)系的信息，學(xué)得更全面的實(shí)體表示，從而更準(zhǔn)確地預(yù)測實(shí)體之間的鏈接關(guān)系。

3.1.6 知識推理

知識推理是從給定的知識圖譜中推導(dǎo)出實(shí)體與實(shí)體之間的新關(guān)系，但知識推理所獲得的關(guān)系通常需要在知識圖譜中進(jìn)行多跳的推理過程。知識推理是一些下游任務(wù)的重要支撐之一，例如知識庫問答。由于圖神經(jīng)網(wǎng)絡(luò)在推理能力上的優(yōu)勢，近年來被一些研究者嘗試用于知識推理任務(wù)。

3.2 GNN在推薦系統(tǒng)中的應(yīng)用

為了解決推薦系統(tǒng)中的稀疏性問題和冷啟動問題，一種可行的思路是將知識圖譜作為外部信息整合到推薦系統(tǒng)中，使推薦系統(tǒng)具有常識推理能力。研究者們基于圖神經(jīng)網(wǎng)絡(luò)強(qiáng)大的聚合信息以及推理能力，設(shè)計(jì)了基于圖神經(jīng)網(wǎng)絡(luò)和知識圖譜的推薦系統(tǒng)，有效地提升了推薦命中率。此外，圖神經(jīng)網(wǎng)絡(luò)的信息傳播與推理能力也為推薦結(jié)構(gòu)提供了一定的可解釋性。

3.3 GNN在NLP中的應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于基于文本的多個任務(wù)。 它可以應(yīng)用于句子級任務(wù)（例如文本分類）以及單詞級任務(wù)（例如序列標(biāo)記）。

文本分類。將文檔和單詞作為節(jié)點(diǎn)來構(gòu)建語料庫圖，并使用 TextGCN 來學(xué)習(xí)單詞和文檔的嵌入。

序列標(biāo)注。將序列中的每個變量視為一個節(jié)點(diǎn)，將依賴項(xiàng)視為邊，可以利用 GNN 的隱藏狀態(tài)來解決任務(wù)。

機(jī)器翻譯。將句法或語義信息合并到 NMT 任務(wù)中。

關(guān)系抽取。利用句子的依存結(jié)構(gòu)，可以構(gòu)建文檔圖，其中節(jié)點(diǎn)表示單詞，邊表示各種依賴關(guān)系。

事件抽取?；谝蕾嚇涞膱D卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行事件檢測。

三.總結(jié)與展望

結(jié)合知識圖譜和圖神經(jīng)網(wǎng)絡(luò)的相關(guān)研究已經(jīng)成為人工智能領(lǐng)域的一個熱點(diǎn)方向。知識圖譜可以為各類學(xué)習(xí)任務(wù)提供良好的先驗(yàn)知識，圖神經(jīng)網(wǎng)絡(luò)則可以更好地支持圖數(shù)據(jù)的學(xué)習(xí)任務(wù)。但是，目前基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜學(xué)習(xí)、計(jì)算與應(yīng)用的研究都還相對較少，未來仍有巨大的發(fā)展空間，例如基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜自動構(gòu)建、基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的知識融合、基于元路徑或圖神經(jīng)網(wǎng)絡(luò)的知識圖譜復(fù)雜推理、基于圖神經(jīng)網(wǎng)絡(luò)的可解釋性學(xué)習(xí)等。

這里給大家準(zhǔn)備了一些我精心挑選的AI的學(xué)習(xí)資料。關(guān)注VX公眾H【咕泡AI】回復(fù)【333】即可領(lǐng)取！

①10G教學(xué)視頻包（附課件+代碼）

②AI人工智能：54份行業(yè)重磅報告匯總

③能寫進(jìn)簡歷的企業(yè)級項(xiàng)目實(shí)戰(zhàn)。

④100篇+深度學(xué)習(xí)論文合集

⑤人工智能必讀書籍

⑥專屬學(xué)習(xí)路徑規(guī)劃

⑦不定期大神直播，學(xué)習(xí)和困惑解答

⑧拿來就能跑通的論文復(fù)現(xiàn)代碼講解及數(shù)據(jù)集

這些資料都比較珍貴，但是對自我的職業(yè)發(fā)展價值則是無價的！

別慌，這些資料這一次全部免費(fèi)分享給大家。覺得好，就不要吝嗇你的三連哦，這樣我才有動力持續(xù)更新哦??