Bilibili-DeepWalk【圖神經(jīng)網(wǎng)絡(luò)論文精讀】

圖機(jī)器學(xué)習(xí)大綱

• 新論文精讀專題

• 圖機(jī)器學(xué)習(xí)、圖數(shù)據(jù)挖掘、圖神經(jīng)網(wǎng)絡(luò)GNN、圖卷積神經(jīng)網(wǎng)絡(luò)GCN

• 知識(shí)圖譜、知識(shí)計(jì)算、對(duì)話問(wèn)答

• 推薦系統(tǒng)、社會(huì)計(jì)算、媒體計(jì)算、網(wǎng)絡(luò)智能

• 搜索引擎、社交網(wǎng)絡(luò)、情感計(jì)算

• 學(xué)習(xí)路徑與必讀論文清單

• Stanford CS224W、知識(shí)圖譜實(shí)戰(zhàn)

• DeepWalk、Node2vec

• PageRank

• GNN、GCN、Graph-SAGE、GIN、GAT

• Trans-E、Trans-R

• 擴(kuò)展學(xué)習(xí)：圖計(jì)算

• 圖論與數(shù)據(jù)結(jié)構(gòu)：

• 中心性、連通性、最短路徑、關(guān)鍵路徑、拓?fù)渑判颉⒕奂禂?shù)、標(biāo)簽傳播

• 概率圖模型：

• Koller的公開(kāi)課

• 圖機(jī)器學(xué)習(xí)：

• 圖神經(jīng)網(wǎng)絡(luò)

• 圖嵌入 Graph Embedding

• 節(jié)點(diǎn)、邊、子圖、全圖

• 基于

• 手工構(gòu)造特征、矩陣分解、隨機(jī)游走、圖神經(jīng)網(wǎng)絡(luò)

介紹

DeepWalk 將 graph 的每一個(gè)節(jié)點(diǎn)編碼為一個(gè)D維向量（Embedding）（無(wú)監(jiān)督學(xué)習(xí)）

Embedding 中隱式包含了 graph 中的社群、連接、結(jié)構(gòu)信息，可用于后續(xù)節(jié)點(diǎn)分類等下游任務(wù)。

• Word2Vec：

• 用周圍詞預(yù)測(cè)中心詞，CBOW

• 用中心詞預(yù)測(cè)周圍詞

• DeepWalk 用大量的隨機(jī)游走序列去訓(xùn)練

自然語(yǔ)言處理中每一個(gè)單詞在 DeepWalk 中是每一個(gè)節(jié)點(diǎn)，word2vec 是把每一個(gè)單詞變成一個(gè)向量，在 DeepWalk 中是把每個(gè)節(jié)點(diǎn)變成一個(gè)向量。

Embedding 嵌入的藝術(shù)

計(jì)算機(jī)認(rèn)識(shí)向量，表示學(xué)習(xí)/representation learning，把任何一個(gè)東西變成向量，然后進(jìn)行處理；

Word2Vec 詞嵌入

把每個(gè)詞變成一個(gè)向量，并反應(yīng)詞和詞之間的關(guān)系；NLP開(kāi)山之作；

《Efficient Estimation of Word Representations in Vector Space》[論文鏈接] 2013年，被引：33279

《Distributed Representations of Words and Phrases and their Compositionality》[論文鏈接] 2013年，被引：37451，

巧妙之處：自監(jiān)督

兩個(gè)任務(wù)：

• 用周圍詞預(yù)測(cè)中心詞，CBOW

• 用中心詞預(yù)測(cè)周圍詞

隨機(jī)游走

假設(shè)：相鄰節(jié)點(diǎn)應(yīng)該具有相似的Embedding

可以利用 Word2Vec 的 Skip-gram，把每一個(gè)節(jié)點(diǎn)編碼成向量；

DeepWalk

https://dl.acm.org/doi/10.1145/2623330.2623732

PPT 鏈接

We can also create features by transforming the graph into a lower dimensional latent representation.

DeepWalk learns a latent representation of adjacency matrices using deep learning techniques developed for language modeling.

• Advantages of DeepWalk

• Scalable - An online algorithm that does not use entire graph at once

• Walks as sentences metaphor

• The cool idea

• Short random walks = sentences（圖和語(yǔ)言是互通的）

DeepWalk步驟

• 1、輸入 圖

• 2、采樣隨機(jī)游走序列

• 3、隨機(jī)游走序列訓(xùn)練word2vec

• 4、為了解決分類數(shù)過(guò)多的問(wèn)題，可以加一個(gè)分層softmax（霍夫曼編碼樹(shù)）

• 5、得到每個(gè)節(jié)點(diǎn)的圖嵌入（向量表示）

任務(wù)：

• 輸入中心詞的向量，然后預(yù)測(cè)周圍詞（輸入2號(hào)節(jié)點(diǎn)，輸出1號(hào)、5號(hào)節(jié)點(diǎn)）

優(yōu)化：

• Use Stochastic Gradient Descent to update both the classifier weights and the vertex representation simultaneously.（同時(shí)優(yōu)化分類器交叉熵和詞嵌入網(wǎng)絡(luò)）

討論：

• 優(yōu)點(diǎn)：

• 缺點(diǎn)：