沐神講的博客鏈接：https://distill.pub/2021/gnn-intro/

需要有一定的機(jī)器學(xué)習(xí)的背景。
圖是一個(gè)非常強(qiáng)大的東西，但是它的強(qiáng)大也帶來了很多問題：很難在圖上做出優(yōu)化，圖一般比較稀疏，有效的在CPU、GPU、加速器上計(jì)算是一件比較難的事情；圖神經(jīng)網(wǎng)絡(luò)對超參數(shù)比較敏感。
圖神經(jīng)網(wǎng)絡(luò)門檻比較高，這些年吸引了很多人對他的研究，但在工業(yè)界上的應(yīng)用還需要時(shí)間的積累。
很多圖是交互圖（既是優(yōu)點(diǎn)（非常漂亮）又是缺點(diǎn)（門檻太高，有時(shí)用一個(gè)公式可以清晰的將其表達(dá)出來））。
1.什么是圖？圖的屬性應(yīng)該用向量來進(jìn)行表示。對于頂點(diǎn)、邊、全局都用向量來表示它的屬性。
2.現(xiàn)實(shí)生活中的現(xiàn)象怎么表示成圖，怎么對頂點(diǎn)、邊、全局進(jìn)行預(yù)測？
3.機(jī)器學(xué)習(xí)的算法用到圖上有什么挑戰(zhàn)？
4.定義GNN：GNN就是對屬性做變換，但不改變圖的結(jié)構(gòu)。
5.屬性有缺失可以做聚合操作，把邊的數(shù)據(jù)拿到結(jié)點(diǎn)上面，補(bǔ)足缺失的數(shù)據(jù)。
6.GNN：每一層里面通過匯聚操作，把信息傳遞過來，每個(gè)頂點(diǎn)看鄰接頂點(diǎn)的信息；每個(gè)頂點(diǎn)看鄰接邊的信息或全局的信息。在每一層上如果能對信息進(jìn)行充分的匯聚，那么GNN可以對圖的結(jié)構(gòu)進(jìn)行一個(gè)發(fā)掘。
7.實(shí)驗(yàn)：做了很多實(shí)驗(yàn)，可以看到參數(shù)對實(shí)驗(yàn)結(jié)果的影響。

我上班之余學(xué)習(xí)沐神課程，尚且剛學(xué)完上節(jié)又出新節(jié)。
要知道學(xué)可比講和做視頻花精力和時(shí)間少多了(may be)。再次感慨沐神之工作效率。我想我的學(xué)習(xí)列表里必須加入一些改進(jìn)效率的方法論了，否則學(xué)都趕不上了?！靖钽鍖W(xué)AI：其實(shí)也很容易，你時(shí)不時(shí)看一下手機(jī)里面哪個(gè)app一周用時(shí)超過4小時(shí)，然后刪掉。我最近刪的app是bilibili】

圖神經(jīng)網(wǎng)絡(luò)屬于比較難做，好發(fā)論文的方向。比較難做就是數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)，這些相比cv、nlp有數(shù)倍設(shè)計(jì)難度，故好發(fā)論文（新、難）。從出成果來看，follow 師兄的方向接著做才是研究生階段好發(fā)論文的方法，如果沒有師兄屬于開荒階段，切記把目標(biāo)放低一點(diǎn)（尤其是導(dǎo)師也不太會(huì)的情況下）

pooling 匯聚（池化，從分散的多個(gè)地方匯聚到一個(gè)池子里面）

李沐的翻譯太好了，終于懂了為什么叫pooling了

原文地址：
https://distill.pub/2021/gnn-intro/
https://distill.pub/2021/understanding-gnns/

這幾天剛好在看一篇綜述《A Comprehensive Survey on Graph Neural Networks》，綜述里對GNN的定義比這篇博客要廣好多

（博客中介紹的應(yīng)該只是Convolutional Graph Neural Networks with Spatial methods）還有十分感謝沐神帶我們發(fā)現(xiàn)distill這么一個(gè)大寶藏

老師，時(shí)空圖卷積st-gcn可以講解一下嗎？關(guān)于人體動(dòng)作識別的

我發(fā)布了一篇筆記，快來看看吧
GNN ? a gentle introduction to graph neural network ?對圖神經(jīng)網(wǎng)絡(luò)的簡易介紹 ?神經(jīng)網(wǎng)絡(luò)被用在處理圖的...
https://www.bilibili.com/h5/note-app/view?cvid=14432698&;pagefrom=comment

謝謝老師！還想聽更多關(guān)于GCN和GAT的文章

想問一下，這篇文章講的就是GCN嗎，感覺和那些用譜分解來講GCN的不太一樣?。俊緩膱D信號處理出發(fā)的話，就是用譜分解來講gcn，但是門檻有點(diǎn)高，不如這篇文章通俗易懂】

沐神，還有哪些像distill一樣，把知識點(diǎn)如此庖丁解牛、且如此易讀的網(wǎng)站？
最近在看video-based GNN Person Re-ID，看了這篇文章、聽了沐神的講解受益匪淺，再次感謝！

希望大佬可以講講GIN，不是很懂它為什么能做到GNN表達(dá)能力的上限。

李老師，最近看vision transformer的論文經(jīng)常看到這個(gè)詞Inductive biases，但是還是不是特別的理解，李沐老師可以解釋的通俗一點(diǎn)嗎？【個(gè)人理解是你把你對問題的理解作為一種先驗(yàn)知識融入了模型設(shè)計(jì)，讓你的模型更好訓(xùn)練了，但同時(shí)也失去了一些解的可能。比如CNN就比Transormer需要的數(shù)據(jù)量更小，更容易訓(xùn)練， 】【在設(shè)計(jì)模型的時(shí)候或多或少會(huì)有一些假定，比如CNN的局部連接參數(shù)共享，GNN的locality假設(shè)等等，目的是縮小你的假設(shè)空間，能夠有效地找到解。Transformer就是一種低inductive bias的模型，因?yàn)樗鼘栴}基本上沒有假設(shè)】【歸納偏置，因?yàn)槊總€(gè)模型都有自己的一些假設(shè)，會(huì)導(dǎo)致你的模型會(huì)優(yōu)先考慮具有某些屬性的解?！?/p>

目前體驗(yàn)最舒服的論文精讀，論文中交互式的圖對教和學(xué)都很友好。這種introduction如果都能避免公式多用圖就好了。每次看到公式都得花很多時(shí)間去了解符號的意義和數(shù)學(xué)原理。這次算是真的無痛精讀

有個(gè)問題，就是圖神經(jīng)網(wǎng)絡(luò)的輸出到底是啥呀，我看完也沒看明白【輸出還是圖】