I.深度學(xué)習(xí)(deep learning)發(fā)展史

近幾年深度學(xué)習(xí)發(fā)展迅猛，更是由于幾年前的谷歌的AlphaGo而轟動(dòng)一時(shí)，國(guó)內(nèi)也開始迎來這一技術(shù)的研究熱潮，那這么火的深度學(xué)習(xí)到底是經(jīng)歷了一段怎樣的發(fā)展過程呢？下面我們就來了解一下深度學(xué)習(xí)發(fā)展史。

1943年

由神經(jīng)科學(xué)家麥卡洛克(W.S.McCilloch)和數(shù)學(xué)家皮茲(W.Pitts)在《數(shù)學(xué)生物物理學(xué)公告》上發(fā)表論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為MCP模型。所謂MCP模型，其實(shí)是按照生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個(gè)抽象和簡(jiǎn)化了的模型，也就誕生了所謂的“模擬大腦”，人工神經(jīng)網(wǎng)絡(luò)的大門由此開啟。

MCP當(dāng)時(shí)是希望能夠用計(jì)算機(jī)來模擬人的神經(jīng)元反應(yīng)的過程，該模型將神經(jīng)元簡(jiǎn)化為了三個(gè)過程：輸入信號(hào)線性加權(quán)，求和，非線性激活(閾值法)。如下圖所示

1958年

計(jì)算機(jī)科學(xué)家羅森布拉特( Rosenblatt)提出了兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知器”(Perceptrons)。第一次將MCP用于機(jī)器學(xué)習(xí)(machine learning)分類(classification)?！案兄鳌彼惴ㄋ惴ㄊ褂肕CP模型對(duì)輸入的多維數(shù)據(jù)進(jìn)行二分類，且能夠使用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)更新權(quán)值。1962年,該方法被證明為能夠收斂，理論與實(shí)踐效果引起第一次神經(jīng)網(wǎng)絡(luò)的浪潮。

1969年

縱觀科學(xué)發(fā)展史，無疑都是充滿曲折的，深度學(xué)習(xí)也毫不例外。

1969年，美國(guó)數(shù)學(xué)家及人工智能先驅(qū)?Marvin Minsky?在其著作中證明了感知器本質(zhì)上是一種線性模型(linear model)，只能處理線性分類問題，就連最簡(jiǎn)單的XOR(亦或)問題都無法正確分類。這等于直接宣判了感知器的死刑，神經(jīng)網(wǎng)絡(luò)的研究也陷入了將近20年的停滯。

1986年

由神經(jīng)網(wǎng)絡(luò)之父?Geoffrey Hinton?在1986年發(fā)明了適用于多層感知器(MLP)的BP(Backpropagation)算法，并采用Sigmoid進(jìn)行非線性映射，有效解決了非線性分類和學(xué)習(xí)的問題。該方法引起了神經(jīng)網(wǎng)絡(luò)的第二次熱潮

Sigmoid?函數(shù)是一個(gè)在生物學(xué)中常見的S型的函數(shù)，也稱為S型生長(zhǎng)曲線。在信息科學(xué)中，由于其單增以及反函數(shù)單增等性質(zhì)，Sigmoid函數(shù)常被用作神經(jīng)網(wǎng)絡(luò)的閾值函數(shù)，將變量映射到0,1之間。

90年代時(shí)期

1991年BP算法被指出存在梯度消失問題，也就是說在誤差梯度后項(xiàng)傳遞的過程中，后層梯度以乘性方式疊加到前層，由于Sigmoid函數(shù)的飽和特性，后層梯度本來就小，誤差梯度傳到前層時(shí)幾乎為0，因此無法對(duì)前層進(jìn)行有效的學(xué)習(xí)，該問題直接阻礙了深度學(xué)習(xí)的進(jìn)一步發(fā)展。

此外90年代中期，支持向量機(jī)算法誕生(SVM算法)等各種淺層機(jī)器學(xué)習(xí)模型被提出，SVM也是一種有監(jiān)督的學(xué)習(xí)模型，應(yīng)用于模式識(shí)別，分類以及回歸分析等。支持向量機(jī)以統(tǒng)計(jì)學(xué)為基礎(chǔ)，和神經(jīng)網(wǎng)絡(luò)有明顯的差異，支持向量機(jī)等算法的提出再次阻礙了深度學(xué)習(xí)的發(fā)展。

發(fā)展期 2006年 - 2012年

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域泰斗、神經(jīng)網(wǎng)絡(luò)之父——?Geoffrey Hinton?和他的學(xué)生?Ruslan Salakhutdinov?在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，該文章提出了深層網(wǎng)絡(luò)訓(xùn)練中梯度消失問題的解決方案：無監(jiān)督預(yù)訓(xùn)練對(duì)權(quán)值進(jìn)行初始化+有監(jiān)督訓(xùn)練微調(diào)。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)，至此開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

2011年，ReLU激活函數(shù)被提出，該激活函數(shù)能夠有效的抑制梯度消失問題。2011年以來，微軟首次將DL應(yīng)用在語音識(shí)別上，取得了重大突破。微軟研究院和Google的語音識(shí)別研究人員先后采用DNN技術(shù)降低語音識(shí)別錯(cuò)誤率20％~30％，是語音識(shí)別領(lǐng)域十多年來最大的突破性進(jìn)展。2012年，DNN技術(shù)在圖像識(shí)別領(lǐng)域取得驚人的效果，在ImageNet評(píng)測(cè)上將錯(cuò)誤率從26％降低到15％。在這一年，DNN還被應(yīng)用于制藥公司的DrugeActivity預(yù)測(cè)問題，并獲得世界最好成績(jī)。

爆發(fā)期 2012 - 2017

2012年，Hinton課題組為了證明深度學(xué)習(xí)的潛力，首次參加ImageNet圖像識(shí)別比賽，其通過構(gòu)建的CNN網(wǎng)絡(luò)AlexNet一舉奪得冠軍，且碾壓第二名(SVM方法)的分類性能。也正是由于該比賽，CNN吸引到了眾多研究者的注意。

AlexNet的創(chuàng)新點(diǎn)在于:

(1)首次采用ReLU激活函數(shù)，極大增大收斂速度且從根本上解決了梯度消失問題。

(2)由于ReLU方法可以很好抑制梯度消失問題，AlexNet拋棄了“預(yù)訓(xùn)練+微調(diào)”的方法，完全采用有監(jiān)督訓(xùn)練。也正因?yàn)槿绱?，DL的主流學(xué)習(xí)方法也因此變?yōu)榱思兇獾挠斜O(jiān)督學(xué)習(xí)。

(3)擴(kuò)展了LeNet5結(jié)構(gòu)，添加Dropout層減小過擬合，LRN層增強(qiáng)泛化能力/減小過擬合。

(4)第一次使用GPU加速模型計(jì)算。

2013、2014、2015、2016年，通過ImageNet圖像識(shí)別比賽，DL的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練方法，GPU硬件的不斷進(jìn)步，促使其在其他領(lǐng)域也在不斷的征服戰(zhàn)場(chǎng)。

2016年3月，由谷歌(Google)旗下DeepMind公司開發(fā)的AlphaGo(基于深度學(xué)習(xí))與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝；2016年末2017年初，該程序在中國(guó)棋類網(wǎng)站上以“大師”(Master)為注冊(cè)帳號(hào)與中日韓數(shù)十位圍棋高手進(jìn)行快棋對(duì)決，連續(xù)60局無一敗績(jī)；2017年5月，在中國(guó)烏鎮(zhèn)圍棋峰會(huì)上，它與排名世界第一的世界圍棋冠軍柯潔對(duì)戰(zhàn)，以3比0的總比分獲勝。圍棋界公認(rèn)阿爾法圍棋的棋力已經(jīng)超過人類職業(yè)圍棋頂尖水平。

總結(jié)

深度學(xué)習(xí)目前還處于發(fā)展階段，不管是理論方面還是實(shí)踐方面都還有許多問題待解決，不過由于我們處在了一個(gè)“大數(shù)據(jù)”時(shí)代，以及計(jì)算資源的大大提升，新模型、新理論的驗(yàn)證周期會(huì)大大縮短。人工智能時(shí)代的開啟必然會(huì)很大程度的改變這個(gè)世界，無論是從交通，醫(yī)療，購(gòu)物，軍事等方面，或許我們處于最好的年代，也或許我們處于最壞的年代，未來無法預(yù)知，那就抱著樂觀的態(tài)度迎接這個(gè)第四次工業(yè)革命吧。