當前人工智能面臨如下重大的理論挑戰(zhàn)：可計算性、可解釋性、泛化性，以及穩(wěn)定性。圍繞這些基礎問題，北京智源人工智能研究院從數(shù)學、統(tǒng)計和計算的角度，設立了“人工智能的數(shù)理基礎”重大研究方向，并在該方向首先啟動了三方面研究（可解釋性的新型人工智能模型，新型的機器學習算法，深度學習的基礎理論），以期打破基于計算機實驗和神經(jīng)科學的人工智能的慣用建模范式，建立以數(shù)學與統(tǒng)計理論為第一原理的新一代人工智能方法論。

2019 年 5 月 13 日，“智源論壇（第2期）——人工智能的數(shù)理基礎”系列報告第二場再度如約而至。本次論壇在北京大學教授、智源研究項?經(jīng)理夏壁燦的主持下正式開始。清華大學副教授史作強分享了他在人工智能數(shù)理基礎領域的研究探索。

史作強是國內(nèi)計算數(shù)學領域數(shù)學科學方面的青年學術帶頭人，他帶來了《基于流形和偏微分方程的機器學習建?！返闹黝}報告。在各類機器學習問題中，數(shù)據(jù)往往具有非常高的維數(shù)，但是人們普遍認為數(shù)據(jù)中蘊含著低維結構。微分流形是描述高維空間中低維結構的重要數(shù)學工具。史作強團隊的研究主要是利用流形和偏微分方程理解數(shù)據(jù)的內(nèi)蘊結構，為機器學習建立數(shù)學模型。

查看完整報告視頻請點擊

下圖為其工作的一個整體框架，很多數(shù)據(jù)都可以比較容易或自然地表示成一個高維空間中的點云：

如果我們有很多文本和文章，這些可能不能直接表現(xiàn)成點云，但可以借助字典，比如有中文的好多篇文章，可以把新華字典拿出來，從中挑選 5000 個常用字。然后可以針對每一篇文章，統(tǒng)計每個字在該文本中出現(xiàn)的頻率，通過字典，就可以把一篇文章轉(zhuǎn)化成五千維的一個向量，這個向量每個維數(shù)就代表這個字典里面的字在這篇文章中出現(xiàn)的頻率。

除此之外，在自然語言處理中，我們也可以把一個詞轉(zhuǎn)化成一個向量。通過各種方法，很多數(shù)據(jù)都可以輕松轉(zhuǎn)化成高維空間中的點云（所謂“點云”就是一堆點），但是這個維數(shù)可能會非常高，幾千維、上萬維，甚至上百萬維都有可能。維數(shù)非常高，就意味著我們難于直接理解?，F(xiàn)在我們總說大數(shù)據(jù)，但是在高維空間里面，所有大數(shù)據(jù)都是小數(shù)據(jù)。所以說，如果在高維空間中得到一個點云，要加以理解的前提，是其中必須包含某種低維結構，不可能是完全的高維結構。

為了描述這樣一個高維空間中的低維的結構，數(shù)學上有一個非常重要的工具，就是所謂的流形，這是數(shù)學上一個非常成熟的的概念。我們主要的想法就是我們用流形來對高維點云進行建模，假設這個點云可能落在低維流形的附近。但流形在很高維的空間里，我們?nèi)撕茈y直接想象，可能其結構也非常復雜，難有直接的手段描述。比如我們知道一個最直接的手段，就是對其進行參數(shù)化，但是我們在高維空間很難找到流形的一個合適的參數(shù)化表示。因此必須用間接手段對其進行研究。

基于個人研究背景，史作強團隊用偏微分方程作為工具來研究流形——找一個偏微方程，看這個偏微方程在流形上面的解，通過個偏微方程的解反過來告訴這個流形有怎樣的結構，這個流形的結構就可以告訴我們數(shù)據(jù)里面有什么樣的結構。

事實上，這里用 PDE 來研究流形也并非首創(chuàng)，著名數(shù)學家丘成桐的重要貢獻之一，就是就是開創(chuàng)了用 PDE 研究微分流形的這么一種方法，即現(xiàn)在被稱為幾何分析的領域。所以在純數(shù)學中用 PDE 研究微分流形是一個非常重要的研究領域，有很多相關工作。對于我們而言，這也有著獨特的困難：

① 流形在非常高維的空間里，首先要找到一個合適的 PDE 來對其進行建模，這是一個數(shù)學建模的問題。雖然眾所周知 PDE 有無窮多種，但并不一定所有 PDE 都適合研究這樣的數(shù)據(jù)中產(chǎn)生的流形。

② 就算已經(jīng)找到認為合適的一個 PDE，下面的問題是怎樣在這個流形求解這個 PDE。有時候并不知道流形解析的具體表達形式，比如是一個球面或是一個雙曲面。唯一知道的，就是這個數(shù)據(jù)告訴我的這一堆點，我們假設這一堆點是流形一個離散，這堆點的分布可能非常亂，因為其來自數(shù)據(jù)而非我們的自主選擇。所以我們就是要在高維空間里面一堆雜亂無章的點上設計數(shù)學方法來求解你給定的 PDE 模型。

這就是下面我們要面臨的兩個主要問題，一是建模問題——找到合適的 PDE；另外一個是要針對該 PDE 設計一種合適的數(shù)字方法，來離散這個 PDE，來求解它。

史作強及其團隊利用微分流形、偏微分方程等數(shù)學工具，對于高維數(shù)據(jù)的偏微分方程模型的數(shù)學建模、計算方法和理論基礎進行了系統(tǒng)的研究并取得了豐富的成果：

① 數(shù)學建模：提出了低維流形模型（Low Dimensional Manifold Model），并將其成功應用到圖像處理、矩陣恢復、地震信號處理等問題中。將深度殘差網(wǎng)絡（ResNet）建模為對流方程的控制問題并提出了對流擴散方程模型。將 Laplace 方程與深層神經(jīng)網(wǎng)絡相結合，學習流形上最優(yōu)的度量。提出了機器學習中偏微分方程建模的一般理論框架，利用數(shù)據(jù)基本的不變性等先驗信息和偏微分方程基本的穩(wěn)定性、正則性等要求對數(shù)據(jù)進行建模。

② 計算方法：提出了在高維點云上求解偏微分方程的點積分方法和加權非局部 Laplacian 方法（Weighted Nonlocal Laplacian），并將其用于低維流形模型的求解和高維點云上插值函數(shù)的計算。

③ 理論分析：對于二階橢圓方程證明了點積分方法具有對稱性、強制性、極值原理等優(yōu)良的理論性質(zhì)，在此基礎上證明了點積分方法的收斂性并給出了收斂精度估計。證明了加權非局部 Laplacian 方法的收斂性。

關于主辦方

北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）是在科技部和北京市委市政府的指導和支持下，由北京市科委和海淀區(qū)政府推動成立，依托北京大學、清華大學、中國科學院、百度、小米、字節(jié)跳動、美團點評、曠視科技等北京人工智能領域優(yōu)勢單位共建的新型研究機構。