機(jī)器學(xué)習(xí)在發(fā)展的過程中，經(jīng)歷了許多次轉(zhuǎn)折和變化。從最初的符號(hào)主義專家系統(tǒng)，利用結(jié)構(gòu)化的知識(shí)輔助機(jī)器預(yù)測，到統(tǒng)計(jì)學(xué)習(xí)方法的出現(xiàn)。2006年以后，更是由于以深度神經(jīng)網(wǎng)絡(luò)為代表的聯(lián)結(jié)主義的興起，使得機(jī)器學(xué)習(xí)迎來了蓬勃發(fā)展的時(shí)期。但近年來的多項(xiàng)研究表明，第二代機(jī)器學(xué)習(xí)技術(shù)仍存在很多問題，在諸如圖像識(shí)別，對話，語音識(shí)別等領(lǐng)域，現(xiàn)有模型能達(dá)到很好的效果，但模型的泛化性能有限，這體現(xiàn)在訓(xùn)練與測試之間誤差的巨大差異、模型的魯棒性、以及跨領(lǐng)域或問題的通用機(jī)器學(xué)習(xí)算法的空缺，引起了人們對下一代機(jī)器學(xué)習(xí)的思考。近期，在智源研究院成立兩周年之際舉辦的“智源論壇2020”中，由八位來自不同研究背景的智源學(xué)者交叉互動(dòng)，對下一代機(jī)器學(xué)習(xí)應(yīng)走之路，進(jìn)行了激烈且深度的探討。

整理：智源實(shí)習(xí)生 周寅張皓

機(jī)器學(xué)習(xí)方向：林宙辰、王立威、顏水成、張長水、崔鵬

智能信息檢索與挖掘方向：徐君

體系架構(gòu)方向：孫廣宇

認(rèn)知神經(jīng)方向：方方

整個(gè)研討分為兩部分，首先由北京大學(xué)教授林宙辰做引導(dǎo)報(bào)告《下一代機(jī)器學(xué)習(xí)》，隨后八位學(xué)者圍繞多個(gè)問題進(jìn)行辯論。

1. 下一代機(jī)器學(xué)習(xí)

在林宙辰教授的報(bào)告中指出，當(dāng)前深度學(xué)習(xí)紅利已經(jīng)接近終點(diǎn)，下一代機(jī)器學(xué)習(xí)會(huì)是什么成為亟待思考的問題。目前有不同方案，例如張鈸院士等人提出的“認(rèn)知+符號(hào)”，Y.Bengio?等人提出的“System 1+System 2”，M.?Jordan?則認(rèn)為根本不需要新的算法，只要有市場推動(dòng)即可。目前為止，這仍然是一個(gè)開放問題。

以下是林宙辰教授分享的詳細(xì)內(nèi)容：

林宙辰：深度學(xué)習(xí)、機(jī)器學(xué)習(xí)已經(jīng)很少聽到有突破性的進(jìn)展了。去年三大巨頭獲得圖靈獎(jiǎng)，馬上有人跳出來說“某個(gè)領(lǐng)域獲得圖靈獎(jiǎng)就表明這個(gè)領(lǐng)域已經(jīng)走到盡頭了”；我們也體會(huì)到近一兩年來，深度學(xué)習(xí)重大進(jìn)展好像就沒有了，大家只能想方設(shè)法去充分利用算力。

因此，我和許多做機(jī)器學(xué)習(xí)的學(xué)者都在想一件事情：機(jī)器學(xué)習(xí)下一步應(yīng)該是什么樣子？

這是我們今天要講的題目。我們需要回答兩個(gè)問題，一個(gè)是，它應(yīng)該是什么；另一個(gè)是，我們應(yīng)該怎么能夠達(dá)到它。首先得有目標(biāo)，其次得有途徑，才是完整閉環(huán)。為了不讓這個(gè)討論過于偏離，我們給“機(jī)器學(xué)習(xí)“”下了這么一個(gè)定義：

Machine Learning is about designing algorithms that can learn and construct predictive or descriptive models from data.?

機(jī)器學(xué)習(xí)是一門用來設(shè)計(jì)算法的學(xué)科，這些算法能夠從數(shù)據(jù)中構(gòu)造預(yù)測和描述模型。

從這個(gè)定義出發(fā)，已經(jīng)限定了數(shù)據(jù)是不可或缺的，如果什么都是人教給它，那么我們就不認(rèn)為它是機(jī)器學(xué)習(xí)的范疇。其次，如果它本身不是一個(gè)算法，那么也不屬于機(jī)器學(xué)習(xí)范疇。當(dāng)然，你可以不同意我這個(gè)定義；我們把這個(gè)定義給說好，可以減少在交流上的誤解，否則大家談得都不一樣，就很難達(dá)成共識(shí)。

我在市面上找了現(xiàn)有幾個(gè)比較有代表性的工作給大家介紹。后面大家可以提出各位自己的觀點(diǎn)。

首先，連接主義和符號(hào)主義的結(jié)合。前兩波人工智能熱潮分別由符號(hào)主義和連接主義主導(dǎo)，現(xiàn)在把它融合在一塊是最直接的想法，有代表性的像張?jiān)菏?、周志華等是這么認(rèn)為的；國外也有很多專家這么認(rèn)為的。但怎么走，沒有定論。

張?jiān)菏拷谠凇吨袊茖W(xué)：信息科學(xué)》上發(fā)表的文章提出“三空間融合”的模型，連接主義是完全在連續(xù)空間里，用feature等進(jìn)行計(jì)算；符號(hào)主義完全是在離散空間進(jìn)行計(jì)算。直接串通這兩個(gè)領(lǐng)域有困難，所以他提出加個(gè)中間層，在中間進(jìn)行計(jì)算，把計(jì)算結(jié)果返回兩頭。做個(gè)類比，相當(dāng)做機(jī)器翻譯時(shí)，中文和英文不能直接翻譯，就都轉(zhuǎn)到日文上面；這可能不是非常準(zhǔn)確的類比，但道理是一樣的，插入一個(gè)中間步驟，讓難度下降。

深度學(xué)習(xí)的三巨頭是非常堅(jiān)決的連接主義者，他們拒絕神經(jīng)網(wǎng)絡(luò)需要?jiǎng)e的東西幫忙，認(rèn)為下一代機(jī)器學(xué)習(xí)就是下一代深度學(xué)習(xí)，只要把神經(jīng)網(wǎng)絡(luò)性能推到極致，一定能解決問題。

Bengio 根據(jù)人的認(rèn)知系統(tǒng)提出兩個(gè)系統(tǒng)：“系統(tǒng)1”是專門針對感知覺方面的，這是現(xiàn)在深度學(xué)習(xí)所做的事情，這挺有意思，但完全說不清楚，所以深度學(xué)習(xí)也解釋不清楚；系統(tǒng)2是對應(yīng)于人的邏輯那部分，他認(rèn)為未來深度學(xué)習(xí)要解決的問題，尤其是要探討注意力機(jī)制，此外還有意識(shí)方面的問題，再擴(kuò)展現(xiàn)在深度網(wǎng)絡(luò)的功能，他認(rèn)為能夠完成人的邏輯功能。

第三個(gè)是M. Jordan的觀點(diǎn)，他認(rèn)為機(jī)器學(xué)習(xí)已經(jīng)發(fā)生了三代，第四代機(jī)器學(xué)習(xí)則是要跟市場結(jié)合在一起。

在他的PPT里是這樣說的：在第一代機(jī)器學(xué)習(xí)（1990-2000）下，產(chǎn)生了重要的應(yīng)用，例如欺詐檢測、恢復(fù)、供應(yīng)鏈管理等。之后每隔十年產(chǎn)生新的一代。他認(rèn)為第四代機(jī)器學(xué)習(xí)的理論不用去設(shè)計(jì)，而是根據(jù)應(yīng)用去驅(qū)動(dòng)它就好了，它自然就會(huì)產(chǎn)生新的機(jī)器學(xué)習(xí)理論出來，而應(yīng)用這塊則需要跟經(jīng)濟(jì)學(xué)方面要更多結(jié)合。

關(guān)于怎樣達(dá)到下一代機(jī)器學(xué)習(xí)，大家都在想，要跟其他領(lǐng)域結(jié)合，例如認(rèn)知科學(xué)、類腦計(jì)算、量子計(jì)算等，而不要自己關(guān)起門來造車，要從其他領(lǐng)域獲得新的思想、養(yǎng)分之類的。還有一個(gè)大家特別頭疼的事情，是不是“數(shù)據(jù)+算力”就能解決問題，我們后面可以進(jìn)行討論。

很多同事認(rèn)為AI跟cognition要關(guān)聯(lián)，這個(gè)問題不大，戴院士在中國人工智能大會(huì)上說他要對人腦進(jìn)行全面建模，甚至進(jìn)行掃描，有點(diǎn)接近黃鐵軍教授的還原主義的思想，但是他中間多加了兩個(gè)橋梁，這樣方便通過一步步過去。

類腦現(xiàn)在也是很有可能的。馮·諾依曼的體系是存算分離的，有些運(yùn)算在馮·諾依曼這個(gè)體系上面很不容易實(shí)現(xiàn)，但有可能在類腦芯片上面卻比較簡單?！禢ature》上寫的關(guān)于類腦圖靈完備理論，我不是這方面的專家，不太了解類腦圖靈完備和通常圖靈完備有什么差別，如果有本質(zhì)差別的話，有可能在類腦的平臺(tái)上面設(shè)計(jì)算法，會(huì)有什么質(zhì)的變化？也有一些理論認(rèn)為人的智能跟量子是不可分的，“頓悟”之類是腦里面的細(xì)胞涌現(xiàn)出新的idea，這點(diǎn)我不是特別了解，值得大家共同探討。

關(guān)于堆數(shù)據(jù)和堆算力。今年有一個(gè)數(shù)據(jù)調(diào)研公司提出新的AI界的“新摩爾定律”，說AI算力每3.43月會(huì)翻一倍，呈指數(shù)增長。MIT 做了進(jìn)一步的延伸，說每增加10倍算力就等于研究者在過去3年算法上所改進(jìn)的效果。所以，單純增加數(shù)據(jù)和算力是否可以取得人的智力上的貢獻(xiàn)？強(qiáng)化學(xué)習(xí)的鼻祖 Richard S. Sutton 在去年寫了一個(gè)博客，對人工智能近70年進(jìn)展感到非常悲觀，他說這些進(jìn)展都是算力引起的，不要以為算法在AI里面會(huì)起什么關(guān)鍵作用；人的算法在里面可能會(huì)起一定作用，但是并沒有直接提升算力作用這么明顯。今年GPT-3橫空出世，直接把參數(shù)上升100倍，性能上馬上有了質(zhì)的變化，這好像也迎合了這個(gè)思潮，因此，是不是單純堆算力和數(shù)據(jù)就能解決問題？

下面請各位學(xué)者來探討。

2. 可能路徑探討

由于現(xiàn)場辯論非常激烈，智源研究院將整場辯論中的核心觀點(diǎn)整理如下，供讀者參考：

1、下一代機(jī)器學(xué)習(xí)的路徑設(shè)想

依圖科技CTO?顏水成博士認(rèn)為，我們需要考慮如何利用現(xiàn)有的資源最大化應(yīng)用。

在現(xiàn)有的能力基礎(chǔ)上，應(yīng)盡最大可能地將機(jī)器學(xué)習(xí)應(yīng)用到各個(gè)領(lǐng)域中去，從這個(gè)角度來說，是比較接近加州大學(xué)伯克利分校教授邁克爾·喬丹（Michael Jordan）思想。具體來說可以將不同場景下的數(shù)據(jù)盡可能多的拿過來，然后利用當(dāng)前算力獲取盡可能好的性能，接著考慮落地與轉(zhuǎn)化，實(shí)現(xiàn)科學(xué)技術(shù)對社會(huì)的服務(wù)。

中國人民大學(xué)徐君教授更為支持聯(lián)結(jié)主義與符號(hào)主義相結(jié)合的觀點(diǎn)，他認(rèn)為，當(dāng)前的人工智能還處在一個(gè)“暴力美學(xué)”的階段，即“大數(shù)據(jù)+算法+大算力”，可以得到很好的實(shí)用效果。但是，長期來看，還需要結(jié)合腦科學(xué)，將符號(hào)主義和連接主義融合。當(dāng)前，最大的困難就是還沒有一個(gè)很好的數(shù)學(xué)工具，能夠同時(shí)進(jìn)行數(shù)值和推理運(yùn)算。一旦在這方面有所突破，將會(huì)比“暴力美學(xué)”產(chǎn)生更大的影響力。

有學(xué)者對于暢想第三代機(jī)器學(xué)習(xí)保持懷疑態(tài)度：

北京大學(xué)王立威教授提到一個(gè)說法：凡是“什么什么下一代，什么什么2.0/3.0”，都是想跟以前不一樣，但又不知道該怎么做。他認(rèn)為“（這些都是）先做出真東西來，然后再回頭來看出來的?！?/p>

北京大學(xué)孫廣宇教授從事硬件的設(shè)計(jì)工作，他表示對未來技術(shù)的發(fā)展非常矛盾。一方面期待有更好的東西做出來；但另一方面，新的方法需要新的架構(gòu)設(shè)計(jì)，意味著他以前的工作需要推倒重來，這又令人十分擔(dān)心，因此希望下一代能有一個(gè)可以自適應(yīng)的硬件架構(gòu)。

清華大學(xué)崔鵬副教授提出了較為綜合的觀點(diǎn)，認(rèn)為需要結(jié)合上述三位專家的觀點(diǎn)來設(shè)想未來的可能：

崔鵬認(rèn)為，上述AI專家的觀點(diǎn)都對，只不過他們是從不同的維度來談的。具體地，張鈸院士的“符號(hào)主義+數(shù)據(jù)驅(qū)動(dòng)”是從人工智能的實(shí)現(xiàn)路徑來談的；圖靈獎(jiǎng)得主Yoshua Bengio認(rèn)為第一代推理能力可能比較強(qiáng)，第二代里面感知和學(xué)習(xí)能力比較強(qiáng)，因此希望第三代具備“感知、學(xué)習(xí)、抽象、推理”的能力，他是從人工智能的能力層來談的；而加州大學(xué)伯克利分校教授 Michael Jordan 是從人工智能的應(yīng)用層來談的。三個(gè)人從三個(gè)維度來談，因此我們應(yīng)該把他們的觀點(diǎn)拼起來，組成一個(gè)未來10年、20年的圖景，但是具體下一代應(yīng)該怎么劃分，大家應(yīng)該選一個(gè)問題，現(xiàn)在沒有一個(gè)公認(rèn)的維度，只有做出來才能清楚。

2、怎么看待類似GPT-3的“暴力美學(xué)、大力出奇跡”？

部分學(xué)者對GPT-3代表的暴力美學(xué)保持樂觀

顏水成認(rèn)為大力出奇跡能夠解鎖機(jī)器學(xué)習(xí)（比如人臉識(shí)別）的應(yīng)用場景，讓大家清楚的知道，哪些任務(wù)可以做到什么程度。這樣，也為科學(xué)家提供一個(gè)很好的標(biāo)桿，讓他們能夠設(shè)計(jì)更好的算法來達(dá)到極致。

他提出，突破并不一定在方法。只要要就對當(dāng)前效果有促進(jìn)就是好的；如果一味埋頭苦干解決當(dāng)前的所有問題，那可能等目標(biāo)實(shí)現(xiàn)了，產(chǎn)出的東西已經(jīng)不滿足那時(shí)候的需求了。所以，能對社會(huì)有一定價(jià)值、一定用途，就應(yīng)該鼓勵(lì)。

清華大學(xué)張長水教授認(rèn)為大力出奇跡，花那么多錢，敢想敢干，挺不容易的。不同的人，在動(dòng)不同的腦筋，在以不同的方式來嘗試，因此對未來持樂觀態(tài)度。

另外的學(xué)者持中立態(tài)度。

崔鵬提出，如果在產(chǎn)業(yè)界的話，那大力出奇跡沒有問題，應(yīng)該鼓勵(lì)支持；而如果在學(xué)術(shù)界的話，應(yīng)該強(qiáng)調(diào)學(xué)習(xí)能力，而非計(jì)算能力。具體地，學(xué)習(xí)能力指的是在有限的數(shù)據(jù)集下，利用數(shù)據(jù)的深度。

論壇更多的討論則對算力堆積的模型提出了批評(píng)和意見。

孫廣宇覺得硬件算力在未來一定是可以支持”大力“的，但是他也指出，互聯(lián)網(wǎng)大數(shù)據(jù)往往價(jià)值密度很低，即使有很大規(guī)模的數(shù)據(jù)，也不一定能有很高的價(jià)值，在智源做項(xiàng)目的時(shí)候經(jīng)常碰到這樣的問題，即使”大力“也出不了奇跡。而且現(xiàn)在算法發(fā)展也很快，對計(jì)算資源的需求遠(yuǎn)超摩爾定律的增長速度，因此某一天它沒辦法靠純算力，之后就不能再靠“大力”推這件事情，那個(gè)時(shí)候做體系結(jié)構(gòu)的人的春天要來了，聰明的人可以設(shè)計(jì)新的，拋棄馮諾依曼體系的東西，體系結(jié)構(gòu)和算法設(shè)計(jì)可以同時(shí)向前推進(jìn)。

崔鵬認(rèn)為所謂的暴力美學(xué)，就是用“大數(shù)據(jù)+大算力”來盡可能讓算法的性能達(dá)到極致；而真正的智能，需要有新的學(xué)習(xí)模式，能夠從少量樣本中學(xué)習(xí)，獲得數(shù)據(jù)背后本質(zhì)的規(guī)律，這樣才能讓機(jī)器獲得更好的泛化能力。徐君教授贊同了崔鵬老師的觀點(diǎn)，認(rèn)為如果僅僅依靠大數(shù)據(jù)，大力出奇跡，是超越不了已有的知識(shí)或模式的；而如果能夠利用規(guī)則，也許會(huì)超越人類已有的知識(shí)積累。

王立威舉了一個(gè)例子，AlphaGo的成功得益于有大數(shù)據(jù)和大算力，并隨即拋出一個(gè)問題：暴力美學(xué)、大力出奇跡，能不能走出計(jì)算機(jī)的范疇？很多實(shí)際的場景，比如robot與客觀世界互動(dòng)，需要遵循客觀世界的物理規(guī)律，短時(shí)間內(nèi)是得不到大量的數(shù)據(jù)的，這樣就無法使模型充分學(xué)習(xí)。因而，更傾向于方法上的創(chuàng)新，能夠從相對小的數(shù)據(jù)中學(xué)習(xí)（小樣本學(xué)習(xí)）。

北京大學(xué)方方教授從腦科學(xué)、認(rèn)知心理學(xué)的角度提出了兩個(gè)觀點(diǎn)：第一，人類大腦存在大量抑制性網(wǎng)絡(luò)，這對人的感知、理解、決策起很大的作用。而將抑制性網(wǎng)絡(luò)嵌入到人工神經(jīng)網(wǎng)絡(luò)中卻很難。第二，目前設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)，參數(shù)量非常大，依靠大算力將耗費(fèi)大量能量，這在將來是不現(xiàn)實(shí)的。人類那么多神經(jīng)元，一般僅有2%~3%的神經(jīng)元被激活，而我們僅僅需要吃二兩飯就足以支撐。因此一味增加神經(jīng)元和參數(shù)與人類的智能背道而馳。

3、不同領(lǐng)域之間該怎樣有效交流，促進(jìn)人工智能更好的發(fā)展？

徐君從信息檢索的角度思考，認(rèn)為未來需要更多的考慮輸入輸出的因果關(guān)系。當(dāng)前的檢索系統(tǒng)還都是判斷相關(guān)性，而相關(guān)與因果并不等價(jià)，因此導(dǎo)致了很多問題。認(rèn)為未來可以引入因果方面的研究，且信息領(lǐng)域可以方便地對用戶進(jìn)行測試，而不必?fù)?dān)心倫理問題。北京大學(xué)智能科學(xué)與技術(shù)系林宙辰教授認(rèn)為徐君教授的觀點(diǎn)很好，未來的AI應(yīng)該會(huì)更側(cè)重人機(jī)交互。

張長水認(rèn)為，通過不同的方向探索，結(jié)合，最終會(huì)生成一定的指導(dǎo)思想。機(jī)器學(xué)習(xí)是一個(gè)大家庭，研究者需要和領(lǐng)域結(jié)合、需要和問題結(jié)合、需要和認(rèn)知結(jié)合，和做檢索的、做語言的、做圖像的、做醫(yī)院的結(jié)合，從中發(fā)現(xiàn)真的問題所在，但大家都是做機(jī)器學(xué)習(xí)，但是側(cè)重點(diǎn)不同，這樣的研究多了，就會(huì)慢慢形成一些規(guī)律或指導(dǎo)原則，我們需要更多人去做不同的結(jié)合。

方方指出人類的認(rèn)知過程中，大腦的功能是分塊的、固化的。但是，實(shí)驗(yàn)發(fā)現(xiàn)：通過大量的訓(xùn)練后，大腦的功能區(qū)是可以發(fā)生變化的。很多神經(jīng)元是萬能的神經(jīng)元。這給設(shè)計(jì)通用網(wǎng)絡(luò)帶來啟發(fā)，我們需要做這方面的結(jié)合。

4、機(jī)器學(xué)習(xí)的下一個(gè)“Breakthrough”會(huì)由什么樣的方式產(chǎn)生？

王立威的觀點(diǎn)是：大力出奇跡出不了Breakthrough 的成果，因?yàn)樗诜椒ㄉ喜]有本質(zhì)的創(chuàng)新，而是在已有原理的基礎(chǔ)上，通過工程的手段來達(dá)到極致性能。學(xué)術(shù)界還是要有一些人來坐冷板凳，去做一些基礎(chǔ)性的研究。

崔鵬認(rèn)為，我們首先應(yīng)該明確breakthrough的定義。如果GPT-3算是一種breakthrough的話，那機(jī)器學(xué)習(xí)的下一個(gè)breakthrough一定是來源于大力出奇跡。如果是理論上的才算是breakthrough，那很大概率來源于學(xué)術(shù)界。孫廣宇將機(jī)器學(xué)習(xí)的發(fā)展類比芯片的發(fā)展，一個(gè)是工藝，一個(gè)是架構(gòu)，有點(diǎn)像機(jī)器學(xué)習(xí)里的算法和算力。其實(shí)，這兩條路線都可以走，互有裨益，邊走邊看。