智源論壇 | 張志華：“機(jī)器學(xué)習(xí)才是解決人工智能的王者之道”
2019 年 5 月 9 日，由北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）主辦的“智源論壇——人工智能的數(shù)理基礎(chǔ)”系列報(bào)告第一場開鑼。論壇當(dāng)日，北京大學(xué)張志華教授分享了其在人工智能數(shù)理基礎(chǔ)領(lǐng)域的研究探索。
張志華教授來自北京大學(xué)，同時(shí)還是機(jī)器學(xué)習(xí)領(lǐng)域頂級雜志 JMLR 的編委，國內(nèi)統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域的學(xué)術(shù)帶頭?。其報(bào)告題為《數(shù)學(xué)?程——理解機(jī)器學(xué)習(xí)的?種?度》，認(rèn)為數(shù)學(xué)工程是通向人工智能的一種途徑，提出從“數(shù)學(xué)?程”的角度來理解機(jī)器學(xué)習(xí)。
報(bào)告?先回顧了機(jī)器學(xué)習(xí)發(fā)展的?個(gè)重要階段：基于規(guī)則的學(xué)習(xí)、基于統(tǒng)計(jì)推理的學(xué)習(xí)、基于深度表示的學(xué)習(xí)等。同時(shí)還討論了機(jī)器學(xué)習(xí)的四個(gè)基礎(chǔ)原則：泛化性、穩(wěn)定性、可計(jì)算性和可解釋性等，并分析了解決這些問題的?些基本數(shù)學(xué)?段。
談及此次分享，張志華坦言，他的看法和角度可能不一定是大家所公認(rèn)的，但他這么多年的研究經(jīng)歷一直站在前沿，對機(jī)器學(xué)習(xí)、深度學(xué)習(xí)都有自己的理解。
他認(rèn)為機(jī)器學(xué)習(xí)與人工智能有著本質(zhì)上的不同，前者志不在模擬人的思維和行為，主要是想通過經(jīng)驗(yàn)和交互的方式改善性能，是基于規(guī)則的學(xué)習(xí)。機(jī)器學(xué)習(xí)實(shí)際上是研究算法的學(xué)科，這個(gè)算法是基于數(shù)據(jù)型算法，然后反饋到數(shù)據(jù)中去。我們可以簡單地把機(jī)器學(xué)習(xí)的過程看作這樣一個(gè)思路，然后可以基于此看看機(jī)器學(xué)習(xí)發(fā)展的歷程：
傳統(tǒng)方法：基于規(guī)則學(xué)習(xí)
第一個(gè)比較成熟或者說比較有代表性的歷程是基于規(guī)則的學(xué)習(xí)，其目的就是規(guī)則，用規(guī)則去做預(yù)測。但重點(diǎn)不在于怎么形成規(guī)則，而是試圖把人類對目標(biāo)的認(rèn)知形式化表示，從而自然地形成規(guī)則推理，其代表的形態(tài)有專家系統(tǒng)和句法模式識(shí)別。其重點(diǎn)為特征工程，也就是從數(shù)據(jù)到表示，而這一過程也涉及大量深入的領(lǐng)域知識(shí)要求。
但這一階段也暴露出一些問題，其一便是基于規(guī)則學(xué)習(xí)的方法雖然對于淺層推理比較有效，但遇上深層推理需求，如果形成規(guī)則過多，在其中搜索就容易出現(xiàn)前面的分享提到過的維數(shù)災(zāi)難問題。
為了解決這個(gè)問題，一個(gè)用一個(gè)強(qiáng)大的非線性學(xué)習(xí)模型來弱化數(shù)據(jù)到表示這個(gè)過程的作用，基于這樣的理論，機(jī)器學(xué)習(xí)發(fā)展至第二個(gè)階段。
統(tǒng)計(jì)機(jī)器學(xué)習(xí)：黃金發(fā)展十年
90 年代中期到 2005 年左右這十年，是統(tǒng)計(jì)機(jī)器學(xué)習(xí)發(fā)展的黃金時(shí)期。
與之相反的是，這一階段的神經(jīng)網(wǎng)絡(luò)（80 年代就已經(jīng)出現(xiàn)神經(jīng)網(wǎng)絡(luò)模型）則相對趨于比較低落的時(shí)期，表現(xiàn)平平，發(fā)展遇冷。主要原因在于這個(gè)時(shí)期的機(jī)器學(xué)習(xí)方法比神經(jīng)網(wǎng)絡(luò)要更為簡單，性能也要更好，屬性性質(zhì)相對完美，自然而然地就取代了神經(jīng)網(wǎng)絡(luò)。
但隨著這個(gè)統(tǒng)計(jì)方法發(fā)展到一定階段，大家發(fā)現(xiàn)“數(shù)據(jù)到表示”這件事情還是繞不過去。而應(yīng)對這一問題地一個(gè)簡單的思路就是通過學(xué)習(xí)的途徑來求解表示問題，從而弱化研究者對于領(lǐng)域背景高度掌握的要求，也就是通過一個(gè)自動(dòng)化的方式來解決這一問題。
基于深度表示的學(xué)習(xí)
大模型+大數(shù)據(jù)+大計(jì)算使得這種思路變得可行，機(jī)器學(xué)習(xí)也進(jìn)入了第三階段。AlexNet 網(wǎng)絡(luò)的提出在后來為這個(gè)問題帶來了突破性進(jìn)展，很多做計(jì)算機(jī)視覺的人在網(wǎng)絡(luò)方面不停跟進(jìn)，這些發(fā)展主要是基于視覺的。
深度學(xué)習(xí)發(fā)展至今，主要是有監(jiān)督的，但是現(xiàn)在無監(jiān)督的問題遠(yuǎn)多于有監(jiān)督的問題，而且還更復(fù)雜。那么一個(gè)簡單的思路就是要把無監(jiān)督問題形成為與有監(jiān)督類似的一個(gè)學(xué)習(xí)優(yōu)化過程。
張志華認(rèn)為機(jī)器學(xué)習(xí)的關(guān)鍵在于表示學(xué)習(xí)，表示需要適合預(yù)測和適合計(jì)算。而深度表示所面臨的挑戰(zhàn)包括：由于大數(shù)據(jù)的需要可能導(dǎo)致過參數(shù)化；由于多層的表示，導(dǎo)致問題高度非凸化。而機(jī)器學(xué)習(xí)的基礎(chǔ)原則是可預(yù)測性、可計(jì)算性、穩(wěn)定性以及可解釋性。
關(guān)于機(jī)器學(xué)習(xí)和數(shù)學(xué)工程間的關(guān)系，他給出了這樣的闡釋：
統(tǒng)計(jì)為求解問題提供了數(shù)據(jù)驅(qū)動(dòng)的建模途徑；
概率論、隨機(jī)分析、微分方程、微分流形等工具可以引入來研究 AI 的數(shù)學(xué)機(jī)理；
無論從統(tǒng)計(jì)角度還是從數(shù)學(xué)角度來研究 AI，其實(shí)際性能最后都要通過計(jì)算呈現(xiàn)出來：
數(shù)值分析，即求解連續(xù)數(shù)學(xué)問題的算法；
離散算法，即求解離散結(jié)構(gòu)問題的算法；
大規(guī)模計(jì)算架構(gòu)。
在最后的總結(jié)中，張志華指出，現(xiàn)在談數(shù)學(xué)工程，一是統(tǒng)計(jì)，二是數(shù)學(xué)——統(tǒng)計(jì)為解決問題提供了最佳建模途徑；而數(shù)學(xué)里的概率論、隨機(jī)分析等工具可以用來研究 AI 的數(shù)學(xué)機(jī)理。而這一切最終都將通過計(jì)算呈現(xiàn)。機(jī)器學(xué)習(xí)=數(shù)學(xué)+工程，應(yīng)用數(shù)學(xué)最重要的魅力在于幫助我們提出解決問題的思路或途徑，而不僅僅在于證明理論；工程是技術(shù)也是藝術(shù)，它是算法的必要補(bǔ)充，是新算法提出的源泉；機(jī)器學(xué)習(xí)是數(shù)學(xué)和工程的完美結(jié)合體現(xiàn)。
關(guān)于主辦方
北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）是在科技部和北京市委市政府的指導(dǎo)和支持下，由北京市科委和海淀區(qū)政府推動(dòng)成立，依托北京大學(xué)、清華大學(xué)、中國科學(xué)院、百度、小米、字節(jié)跳動(dòng)、美團(tuán)點(diǎn)評、曠視科技等北京人工智能領(lǐng)域優(yōu)勢單位共建的新型研究機(jī)構(gòu)。
