當你初入江湖，迷茫不知道該干什么的時候，不妨去模仿前人是如何進行科研的，并從中歸納出最適合自己的道路。為此，我們推出“學術人生”專欄，介紹科研的方法與經(jīng)驗，為你的科研學習提供幫助，敬請關注。

導讀：幾何機器學習和基于圖的機器學習是當前最熱門的研究課題之一。在過去的一年中，該領域的研究發(fā)展迅猛。在本文中，幾何深度學習先驅(qū) Michael Bronstein 和 Petar Veli?kovi? 合作，采訪了多位杰出的領域?qū)＜遥偨Y(jié)了該領域過去一年中的研究兩點，并對該方向在 2022 年的發(fā)展趨勢進行了展望。

本文編譯自https://towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34

作者：Michael Bronstein??

牛津大學DeepMind人工智能教授、Twitter圖機器學習負責人

編譯：熊宇軒

01、要點概述

1. 幾何在機器學習中變得越來越重要。微分幾何和同源場為機器學習研究引入了新的思想，包括利用了對稱性和類似于圖中的曲率的新等變圖神經(jīng)網(wǎng)絡（GNN）架構，以及在深度學習模型中理解和利用不確定性。

2. 消息傳遞仍然是 GNN 的主導范式。在 2020 年，研究社區(qū)意識到了了消息傳遞 GNN 的不足之處，并尋求這種范式之外的更具表現(xiàn)力的架構。2021 年，很明顯，消息傳遞仍然占據(jù)主導地位，因為有的研究工作表明，將 GNN 應用于子圖可以獲得更好的表達能力。

3. 微分方程催生了新的 GNN 架構。NeuralODE 的趨勢擴展到了圖機器學習領域。一些工作說明了如何將 GNN 模型形式化定義為連續(xù)微分方程的離散形式。在短期內(nèi)，這些工作將催生新的可以規(guī)避 GNN 中的常見問題（如過平滑和過壓縮）的架構。從長遠來看，我們可能會更好地理解 GNN 的工作原理，以及如何使它們更具表現(xiàn)力和可解釋性。

4. 信號處理、神經(jīng)科學和物理學領域的舊思想煥發(fā)了新生。許多研究者認為，圖信號處理重新點燃了最近對圖機器學習的興趣，并為該領域提供了第一套分析工具（例如，廣義傅里葉變換和圖卷積）。表征理論等其它經(jīng)典信號處理和物理學中的基本技術已經(jīng)在2021年取得了一些重要進展，并仍有很大的潛力。

5. 為復雜系統(tǒng)建模不僅需要圖。2021 年的諾貝爾物理學獎授予? Giorgio Parisi，以表彰他對復雜系統(tǒng)的研究。雖然，這樣的系統(tǒng)通?？梢员换镜爻橄鬄閳D。但我們有時必須考慮非成對關系和動態(tài)行為等更復雜的結(jié)構。2021 年的多項工作討論了動態(tài)關系系統(tǒng)，并展示了如何將 GNN 擴展到高階結(jié)構（如傳統(tǒng)上在代數(shù)拓撲領域處理的細胞和單純復雜結(jié)構）。我們可能會看到機器學習更多地采用該領域的其它思想。

6. 在圖機器學習領域中，推理、公理化和泛化的問題仍然是重要的有待解決的問題。在這一年中，我們看到了受算法推理啟發(fā)的 GNN 架構的持續(xù)進步，以及在圖結(jié)構任務上更魯棒的與分布外泛化（OOD）相關的工作。如今，我們有了與廣義 Bellman-Ford 算法顯式一致的知識圖譜推理器，以及利用分布偏移的顯式因果模型的圖分類器?？梢哉f，這些都是未來具有廣闊前景的更魯棒、更通用的 GNN 的發(fā)展方向。在2022年，這其中許多的課題可能將取得很大的進展。

7. 圖在強化學習中越來越流行，但可能還有很大的探索空間。也許并不令人意外的是，強化學習中存在許多有關圖和對稱性的問題（通常在強化學習智能體的結(jié)構中，或在對環(huán)境的表征中）。2021 年，有一些研究方向試圖利用這種結(jié)構，并取得了不同程度的成功。我們現(xiàn)在對如何在強化學習中利用這些對稱性有了更好的理解（包括在多智能體系統(tǒng)中）。然而，將智能體建模為圖似乎不需要嚴格地使用圖結(jié)構。盡管如此，我們相信，圖和幾何賦能的強化學習在 2022 年具有廣闊的發(fā)展前景。

8. AlphaFold 2 是幾何機器學習領域的重要成果，也是結(jié)構生物學領域的范式轉(zhuǎn)變。20 世紀 70 年代，諾貝爾化學獎得主 Christian Anfinsen 提出了預測蛋白質(zhì)三維折疊結(jié)構的可能性。這是一項非常困難的計算任務，是結(jié)構生物學領域的「圣杯」。2021年，DeepMind 的 AlphaFold 2 打破了該問題之前的記錄，取得了讓領域?qū)＜覀冃欧臏蚀_率，并得到了廣泛的應用。AlphaFold 2 的核心正是一個基于等變注意力機制的幾何架構。

9. GNN 及其與 Transformer 模型的融合助力了藥物研發(fā)和設計。實際上，GNN 的起源可以追溯到 20 世紀 90 年代的計算化學工作。因此，分子圖的分析是最流行的 GNN 應用之一，也就不足為奇了。2021 年，這一領域取得了持續(xù)的顯著進展，涌現(xiàn)出了數(shù)十個新架構和幾項超越對比基準的成果。將 Transformer 應用于圖數(shù)據(jù)也取得了巨大的成功，它有望模擬 Transformer 架構在自然語言處理領域成功的關鍵之處：能夠跨任務泛化的大型預訓練模型。

10. 人工智能主導的藥物發(fā)現(xiàn)技術越來越多地使用了幾何和圖機器學習。AlphaFold 2 和分子圖神經(jīng)網(wǎng)絡的成功讓人類距離通過人工智能設計新藥的夢想更近了一步。Alphabet 的新公司 Isomorphic Labs 標志著工業(yè)界「壓寶」于這項技術。然而，為了實現(xiàn)這類夢想，對分子間的相互作用建模是必須解決的重要前沿課題。

11. 基于圖的方法也助力了量子機器學習。對于機器學習領域的大多數(shù)專家來說，量子機器學習仍然是一個神器的小眾方向，但隨著量子計算硬件的逐漸普及，它很快就成為了現(xiàn)實。Alphabet X 最近的工作顯示了圖結(jié)構歸納偏置在量子機器學習架構中的優(yōu)勢，他們結(jié)合了這兩個貌似不相關的領域。從長遠來看，由于量子物理系統(tǒng)通常擁有豐富而深奧的群對稱性，我們可以將這種性質(zhì)用于量子結(jié)構設計，幾何可能會扮演更重要的角色。

2021 年，幾何和基于圖的機器學習方法出現(xiàn)在一系列備受矚目的應用中

02、幾何在機器學習中的重要性與日俱增

如果我們必須選擇一個詞，它在 2021 年遍布圖表示學習的幾乎每個領域，毫無疑問，「幾何」一詞將是首選。

Melanie Weber：

「在過去的一年里，我們看到許多經(jīng)典的幾何思想以新的方式在圖機器學習領域中得以應用」——Melanie Weber，牛津大學數(shù)學研究所 Hooke 研究員

Melanie 認為：值得注意的例子包括利用對稱性更高效地學習模型，最優(yōu)傳輸相關概念的應用，或在表示學習中使用微分幾何中的曲率概念。

最近，人們對理解關系型數(shù)據(jù)的幾何特性和利用這些信息學習良好的（歐氏或非歐）表征產(chǎn)生了濃厚的興趣[1]。這催生了許多對特定幾何編碼的 GNN 架構。值得注意的例子是雙曲 GNN 模型[2]，該模型于 2019 年底作為學習層次化數(shù)據(jù)的高效表征的工具被首次提出。在過去的一年里，出現(xiàn)了大量的新模型和架構，它們能夠更高效地學習雙曲表征，或者能捕獲更復雜的幾何特征[3, 4]。此外，還有一類工作利用了等變性和對稱性等幾何信息[5]。

Melanie 進一步研究了微分幾何，指出它在 2022 年存在許多潛在的應用方向：離散微分幾何（研究圖或單純復形等離散結(jié)構的幾何）已被用于分析 GNN。離散曲率概念是表征離散結(jié)構局部和整體幾何性質(zhì)的重要工具。Topping 等人在論文「Understanding over-squashing and bottlenecks on graphs via curvature」中提出了曲率在圖機器學習中的一種重要應用[6]，在圖重連的背景下研究離散 Ricci 曲率，作者提出了一種新的方法來緩解 GNN 中的過壓縮效應。未來，離散曲率很可能與圖機器學習中的其它結(jié)構和拓撲問題聯(lián)系在一起。

Melanie 希望這些課題將在 2022 年繼續(xù)影響該領域，被應用于更多的圖機器學習任務。這可能會推動計算方面的進步，從而減輕實現(xiàn)非歐算法的計算挑戰(zhàn)，傳統(tǒng)的針對歐式數(shù)據(jù)設計的工具很難勝任這些工作。此外，離散曲率等幾何工具的計算成本很高，因此很難將它們集成到大規(guī)模應用中。計算技術的進步或?qū)Ｓ贸绦驇斓陌l(fā)展可以使相關從業(yè)者更容易使用這些幾何思想。

Pim de Haan：

「圖神經(jīng)網(wǎng)絡設計者越來越重視圖豐富的對稱結(jié)構。」——Pim de Haan，阿姆斯特丹大學博士生

傳統(tǒng)上，GNN 采用具有置換不變性的消息傳遞方式，后來的工作利用群與表示理論構造節(jié)點置換群表示之間的等變映射。最近，類比于流形的局部對稱性（稱為度規(guī)對稱性），我們開始研究由同構子圖產(chǎn)生的圖的局部對稱性。我們發(fā)現(xiàn)應該用對稱理論而不是群分析某些圖中的問題，將對稱性整合到神經(jīng)網(wǎng)絡架構中可以提高某些圖機器學習任務（例如，分子預測）的性能。

Pim 預測道：在新的一年里，我希望看到范疇論成為一種廣泛應用于神經(jīng)網(wǎng)絡的設計語言。這將給我們提供一種形式化的語言來討論和利用比以前更復雜的對稱。特別是，我很高興看到它被用于處理圖的局部和近似對稱，結(jié)合點云的幾何和組合結(jié)構，并幫助我們研究因果圖的對稱性。”

Francesco Di Giovanni：

「盡管圖是不可微的，但是許多在流形分析中被成功應用的思想正逐漸出現(xiàn)在 GNN 領域中?！埂狥rancesco Di Giovanni，Twitter 機器學習研究員

Francesco 對偏微分方程方法特別感興趣，這種方法最初被用于研究曲面，F(xiàn)rancesco 等人用它來處理圖像。他們探索了「圖重連」的思路，「圖重連」指的是對底層鄰接關系的修改，它屬于對幾何流方法的拓展。此外，他們還利用基于邊的曲率的新概念來研究 GNN 中的過壓縮問題，并提出了一種圖重連方法。對于保持和破壞對稱形式的分子，幾何也被認為是將 GNN 應用于分子的關鍵因素。

Francesco 認為，這個領域的研究剛剛興起。圖重連技術將可能在解決消息傳遞的一些主要缺陷方面發(fā)揮作用，這些缺陷包括在異類數(shù)據(jù)集上的性能和處理長距離依賴關系。我們希望能很快彌平在圖上的卷積和流形上的卷積之間的概念上的較大差異，這可能會導致下一代 GNN 的出現(xiàn)。最后，F(xiàn)rancesco 很高興看到幾何變分方法進一步揭示了 GNN 內(nèi)在的動力學，并希望能夠提供更有原則的方法來設計新的 GNN 架構、比較現(xiàn)有的架構。

Aasa Feragen:

「人們希望通過微分幾何等數(shù)學理論為那些精確的公式中存在非線性幾何的問題給出有理有據(jù)的解決方案?！埂狝asa Feragen，哥本哈根大學助理教授

Aasa 認為，微分幾何在理解和利用深度學習模型的不確定性方面發(fā)揮著基礎性的作用。例如，使用模型不確定性生成數(shù)據(jù)的幾何表示，揭示在標準歐式表征下仍然十分模糊的生物信息。另一個例子是，利用由局部有向數(shù)據(jù)編碼的黎曼幾何對結(jié)構化的大腦連接的不確定性進行量化。

幾何模型通常用于經(jīng)過深度預處理的數(shù)據(jù)，揭示其幾何結(jié)構。數(shù)據(jù)通常是根據(jù)原始數(shù)據(jù)估計的，而原始數(shù)據(jù)存在誤差和不確定性。Aasa 希望 2022 年有更多工作開始評估原始數(shù)據(jù)的不確定性對我們直接處理的數(shù)據(jù)的影響，以及這種不確定性應該如何傳播到模型上。Aasa 希望能夠?qū)y量誤差納入對非歐數(shù)據(jù)的分析，努力打破統(tǒng)計和深度學習之間的鴻溝。

03、消息傳遞仍然是 GNN 的主導范式

Haggai Maron：

「我希望子圖 GNN 以及相應的重構猜想這一研究方向在新的一年里成果豐碩?！埂狧aggai Maron，英偉達研究科學家

由于等價于 Weisfeiler-Lehman 測試，圖機器學習領域遭遇到了消息傳遞范式的根本限制。Michael Brostein 在 2021 年預測道：想要繼續(xù)發(fā)展圖機器學習，就需要脫離 2020 年及之前在占據(jù)主導地位的消息傳遞機制。如今，這一預測在一定程度上得以實現(xiàn)。然而，盡管 2021 年已經(jīng)出現(xiàn)了一些表達能力更強的 GNN 架構，但其中大多數(shù)仍然停留在消息傳遞機制的范圍內(nèi)。

最近，一些研究者使用子圖來提高 GNN 的表達能力。Haggai Maron 曾指出：「子圖 GNN」底層的想法是將圖表示為其子結(jié)構的集合，在 Kelly 和 Ulam 在上世紀 60 年代有關圖重建猜想的工作就可以發(fā)現(xiàn)這一主題。如今，同樣的思想被用來構造富有表達能力的 GNN，而 GNN 的相關工作反過來又催生了新的、更精細的重構猜想。

04、微分方程催生了新的 GNN 架構

Pierre Vandergheynst：

「這提出了一種新的觀點，讓我們可以使用 GNN 為下游機器學習任務提取有意義的信息，并將關注焦點從支撐信息的域轉(zhuǎn)移到使用圖作為針對信號的計算的支撐?！埂狿ierre Vandergheynst，洛桑聯(lián)邦理工學院

通過用微分方程表示的物理系統(tǒng)動力學重新構建圖上的學習，是 2021 年的另一個趨勢。正如常微分方程是理解殘差神經(jīng)網(wǎng)絡的強大工具一樣（「Neural ODEs」被評為 NeurIPS 2019 的最佳論文），偏微分方程可以在圖上建立信息傳播的模型。我們可以通過迭代的數(shù)值計算求解這樣的偏微分方程，從而恢復出許多標準的 GNN 架構。此時，我們將圖看作對連續(xù)對象的離散化表示：

Pierre 認為，在 2022 年，使用圖作為針對給定數(shù)據(jù)集執(zhí)行局部連貫的計算、交換信息的機制，并且關注數(shù)據(jù)的整體屬性，將成為一種新的趨勢。這將在無監(jiān)督、零樣本學習領域激發(fā)人們的興趣。

05、信號處理、神經(jīng)科學和物理學領域的舊觀點煥發(fā)新生

許多現(xiàn)代的 GNN 方法都起源于信號處理領域。圖信號處理（GSP）之父 Pierre Vandergheynst 從這個角度為圖機器學習方法的發(fā)展提供了一個有趣的視角：

圖信號處理對數(shù)字信號處理的擴展體現(xiàn)在兩個方面：（1）推廣了支撐信息的域。傳統(tǒng)的數(shù)字信號處理定義在低維歐式空間上，圖信號處理將其定義在了復雜得多、但是結(jié)構化的對象上。我們可以用圖（例如，網(wǎng)絡、網(wǎng)格曲面）來表示這些對象。（2）使用圖（某種最近鄰），從而拋開結(jié)構化域，直接處理一些數(shù)據(jù)集，表示樣本之間的相似性。這背后的思想是，標簽域繼承了一些可以使用圖定義并通過適當轉(zhuǎn)換捕獲的規(guī)律。因此，圖可以支撐整個數(shù)據(jù)集上的局部計算。GNN 中的一些有趣的思路可以追溯到這些早先的動機，2021 年有一些亮點工作延續(xù)了這一趨勢。

Pierre Vandergheynst：

「經(jīng)典線性變換（例如，傅里葉變換、小波變換）提給出了一個具有某些數(shù)學特性（例如，平滑信號具有低頻傅里葉系數(shù)，分段平滑信號具有稀疏、局部的小波稀疏）的通用潛空間」——Pierre Vandergheynst，洛桑聯(lián)邦理工學院

過去，研究者們通過構建線性變換來揭示信號的特性。物理學家在設計基于群作用的不同對稱的等價變換方面尤為領先。這些群作用包括，仿射群上的小波變換、Weyl-Heisenberg 群的線性時頻分析等。關于數(shù)學物理中相干態(tài)領域的工作提出了一種通用的解決方法：通過使用群表示對函數(shù)進行參數(shù)化，從而構建某種線性變換。2021 年，一些出色的論文進一步引入了非線性和可學習的參數(shù)化函數(shù)，賦予了 GNN 對稱性，使它們在物理或化學問題中大放異彩：

Pierre 認為，由于某些應用需求、適應性和可解釋性之間權衡（結(jié)構化變換域適應性較差但可解釋性很強，GNN 可以在二者之間取得很好的平衡），構建結(jié)構化潛空間的趨勢將會在 2022 年得以延續(xù)。

在傳統(tǒng)上，神經(jīng)科學與信號處理密切相關。事實上，我們通過分析大腦傳遞的電信號來了解動物如何感知其周圍的世界。

Kim Stachenfeld：

「我的研究背景是計算神經(jīng)科學，我首次在研究中用到圖是因為我希望表示任何動物如何學習結(jié)構。」——Kim Stachenfeld，DeepMind 研究科學家

我們可以通過圖這種數(shù)學對象來分析任何動物如何表示通過獨立的經(jīng)驗片段獲取的相關概念，并將其拼接成一個全局連貫的、集成的知識體系。

2021 年，一些研究將神經(jīng)網(wǎng)絡的局部操作和底層或內(nèi)在的集合表征相結(jié)合。例如，一些有關 GNN 中不變性的工作使 GNN 可以利用圖結(jié)構以外的幾何和對稱性。此外，使用圖拉普拉斯特征向量作為圖 Transformer 的位置編碼，使 GNN 可以在不受其約束的條件下，利用關于內(nèi)在、低維幾何性質(zhì)的信息。

Kim 對 GNN 在神經(jīng)科學和更廣闊的領域中的應用感到十分興奮，尤其是在超大規(guī)模真實數(shù)據(jù)上的應用。例如，使用 GNN 預測交通狀況、對復雜物理動力學進行仿真、解決超大規(guī)模圖上的問題。將 GNN 用于神經(jīng)數(shù)據(jù)分析的工作也紛紛涌現(xiàn)。這些問題對現(xiàn)實世界產(chǎn)生影響，它們要求模型能夠高效擴展并泛化，同時仍然能夠捕獲真正的復雜的動力學。GNN 的優(yōu)化目標是對結(jié)構和表達能力的平衡。

06、對復雜系統(tǒng)建模不僅需要圖

Tina Eliassi-Rad：

「2021 年諾貝爾物理學獎授予了對復雜系統(tǒng)的研究。從根本上說，復雜系統(tǒng)是由實體及其之間的交互組成的。復雜系統(tǒng)通常被表示為復雜網(wǎng)絡，而這為圖機器學習提供了動力?！埂猅ina Eliassi-Rad，東北大學教授

隨著圖機器學習逐漸成熟，我們需要仔細分析以不同形式體現(xiàn)的系統(tǒng)依賴（例如，子集、時間、空間），通用的數(shù)學表征（圖、單純復形、超圖），它們的底層假設。沒有完美的方法可以表示一個復雜系統(tǒng)，檢驗來襲一個系統(tǒng)的數(shù)據(jù)集時所作的建模決策可能并不一定能遷移到另一個系統(tǒng)上，甚至不能遷移到來自同一系統(tǒng)的另一個數(shù)據(jù)集上。然而，考慮與我們選擇的數(shù)學表示法相關的系統(tǒng)依賴，為圖機器學習指出了新的研究機會。

Pierre Vandergheynst：

圖并不能為所有的復雜系統(tǒng)提供適當?shù)哪Ｐ?，我們需要圖之外的方式。2021 年，一些優(yōu)秀的論文提出了通過圖的泛化獲取的新的結(jié)構化信息域。使用單純復形和代數(shù)拓撲的其它思想來構建新的神經(jīng)網(wǎng)絡在理論和實踐上對 GNN 進行了提升。這一趨勢在 2022 年會延續(xù)下去，我們會深入研究通過代數(shù)拓撲或微分幾何提供的大量結(jié)構化數(shù)學對象。

Cristian Bodanr：

「我們很可能會看到采用更奇特的數(shù)學對象，這些數(shù)學對象迄今為止還鮮為探索。我相信這些拓撲方法降維分析和理解 GNN 提供一套新的數(shù)學工具。」——Cristian Bodnar，劍橋大學博士

Cristian Bodnar 熱衷于代數(shù)研究拓撲和圖機器學習之間的聯(lián)系。在過去的一年中，單純復形和胞腔復形上的卷積和消息傳遞模型解決了許多 GNN 的缺陷（例如，檢測特定的子結(jié)構、捕獲長距離和高階交互、處理高階特征、跳出 WL 測試的層次）。他們在分子相關的問題、軌跡預測和分類等任務中取得了目前最優(yōu)的結(jié)果。

2022 年，Cristian 預計這些方法將會擴展到令人激動的新應用上，例如：計算代數(shù)拓撲、鏈接預測、計算機圖形學，等。

Rose Yu：

「我對圖機器學習在學習時空動力學中扮演的角色感到十分興奮?！埂猂ose Yu，UCSD 助理教授

時空圖是一種重要的復雜網(wǎng)絡系統(tǒng)，它的結(jié)構會隨著時間演變。Rose 認為，COVID-19 預測、交通預測、軌跡建模等應用需要捕獲高度結(jié)構化的時序數(shù)據(jù)的復雜動力學。圖機器學習有能力捕獲時間序列、空間依賴之間的交互，以及動力學中的相關性。

2022 年，我們樂見時間序列和動態(tài)系統(tǒng)中的思想與圖機器學習融合。希望這些思想將催生新的模型設計、訓練算法，幫助我們更好地理解復雜動態(tài)系統(tǒng)的內(nèi)在機制。圖神經(jīng)網(wǎng)絡具有置換對稱性（不變性或等變性），對稱性發(fā)現(xiàn)是圖表示學習領域中一個被忽視的重要問題。但這種全局對稱性可能從根本上被限制，有一些優(yōu)秀的工作將圖神經(jīng)網(wǎng)絡推廣到置換之外的對稱群和局部對稱中。我們希望看到更多關于圖神經(jīng)網(wǎng)絡對稱性的研究。