深度學(xué)習(xí)有很好的表現(xiàn)，引領(lǐng)了第三次人工智能的浪潮。目前大部分表現(xiàn)優(yōu)異的應(yīng)用都用到了深度學(xué)習(xí)，大紅大紫的 AlphaGo 就使用到了深度學(xué)習(xí)。

本文將詳細(xì)的給大家介紹深度學(xué)習(xí)的基本概念、優(yōu)缺點(diǎn)和主流的4個典型算法。

深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、人工智能的關(guān)系

深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能

簡單來說：

1. 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個分支(最重要的分支)

2. 機(jī)器學(xué)習(xí)是人工智能的一個分支

目前表現(xiàn)最好的一些應(yīng)用大部分都是深度學(xué)習(xí)，正是因為深度學(xué)習(xí)的突出表現(xiàn)，引發(fā)了人工智能的第三次浪潮。詳情可以看《人工智能的發(fā)展史——3次 AI 浪潮》

深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，但是并不完全等于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。

不過在叫法上，很多深度學(xué)習(xí)算法中都會包含”神經(jīng)網(wǎng)絡(luò)”這個詞，比如：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。

所以，深度學(xué)習(xí)可以說是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級，約等于神經(jīng)網(wǎng)絡(luò)。

大白話解釋深度學(xué)習(xí)

看了很多版本的解釋，發(fā)現(xiàn)李開復(fù)在《人工智能》一書中講的是最容易理解的，所以下面直接引用他的解釋：

我們以識別圖片中的漢字為例。

假設(shè)深度學(xué)習(xí)要處理的信息是“水流”，而處理數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)是一個由管道和閥門組成的巨大水管網(wǎng)絡(luò)。網(wǎng)絡(luò)的入口是若干管道開口，網(wǎng)絡(luò)的出口也是若干管道開口。這個水管網(wǎng)絡(luò)有許多層，每一層由許多個可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)的需要，水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對復(fù)雜任務(wù)來說，調(diào)節(jié)閥的總數(shù)可以成千上萬甚至更多。水管網(wǎng)絡(luò)中，每一層的每個調(diào)節(jié)閥都通過水管與下一層的所有調(diào)節(jié)閥連接起來，組成一個從前到后，逐層完全連通的水流系統(tǒng)。

那么，計算機(jī)該如何使用這個龐大的水管網(wǎng)絡(luò)來學(xué)習(xí)識字呢？

比如，當(dāng)計算機(jī)看到一張寫有“田”字的圖片，就簡單將組成這張圖片的所有數(shù)字（在計算機(jī)里，圖片的每個顏色點(diǎn)都是用“0”和“1”組成的數(shù)字來表示的）全都變成信息的水流，從入口灌進(jìn)水管網(wǎng)絡(luò)。

所以，深度學(xué)習(xí)可以說是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級，約等于神經(jīng)網(wǎng)絡(luò)。

我們預(yù)先在水管網(wǎng)絡(luò)的每個出口都插一塊字牌，對應(yīng)于每一個我們想讓計算機(jī)認(rèn)識的漢字。這時，因為輸入的是“田”這個漢字，等水流流過整個水管網(wǎng)絡(luò)，計算機(jī)就會跑到管道出口位置去看一看，是不是標(biāo)記由“田”字的管道出口流出來的水流最多。如果是這樣，就說明這個管道網(wǎng)絡(luò)符合要求。如果不是這樣，就調(diào)節(jié)水管網(wǎng)絡(luò)里的每一個流量調(diào)節(jié)閥，讓“田”字出口“流出”的水最多。

這下，計算機(jī)要忙一陣了，要調(diào)節(jié)那么多閥門！好在計算機(jī)的速度快，暴力的計算加上算法的優(yōu)化，總是可以很快給出一個解決方案，調(diào)好所有閥門，讓出口處的流量符合要求。

下一步，學(xué)習(xí)“申”字時，我們就用類似的方法，把每一張寫有“申”字的圖片變成一大堆數(shù)字組成的水流，灌進(jìn)水管網(wǎng)絡(luò)，看一看，是不是寫有“申”字的那個管道出口流水最多，如果不是，我們還得再調(diào)整所有的閥門。這一次，要既保證剛才學(xué)過的“田”字不受影響，也要保證新的“申”字可以被正確處理。

如此反復(fù)進(jìn)行，知道所有漢字對應(yīng)的水流都可以按照期望的方式流過整個水管網(wǎng)絡(luò)。這時，我們就說，這個水管網(wǎng)絡(luò)是一個訓(xùn)練好的深度學(xué)習(xí)模型了。當(dāng)大量漢字被這個管道網(wǎng)絡(luò)處理，所有閥門都調(diào)節(jié)到位后，整套水管網(wǎng)絡(luò)就可以用來識別漢字了。這時，我們可以把調(diào)節(jié)好的所有閥門都“焊死”，靜候新的水流到來。

與訓(xùn)練時做的事情類似，未知的圖片會被計算機(jī)轉(zhuǎn)變成數(shù)據(jù)的水流，灌入訓(xùn)練好的水管網(wǎng)絡(luò)。這時，計算機(jī)只要觀察一下，哪個出水口流出來的水流最多，這張圖片寫的就是哪個字。

深度學(xué)習(xí)大致就是這么一個用人類的數(shù)學(xué)知識與計算機(jī)算法構(gòu)建起來的整體架構(gòu)，再結(jié)合盡可能多的訓(xùn)練數(shù)據(jù)以及計算機(jī)的大規(guī)模運(yùn)算能力去調(diào)節(jié)內(nèi)部參數(shù)，盡可能逼近問題目標(biāo)的半理論、半經(jīng)驗的建模方式。

傳統(tǒng)機(jī)器學(xué)習(xí) VS 深度學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的相似點(diǎn)

在數(shù)據(jù)準(zhǔn)備和預(yù)處理方面，兩者是很相似的。

他們都可能對數(shù)據(jù)進(jìn)行一些操作：

• 數(shù)據(jù)清洗

• 數(shù)據(jù)標(biāo)簽

• 歸一化

• 去噪

• 降維

對于數(shù)據(jù)預(yù)處理感興趣的可以看看《AI 數(shù)據(jù)集最常見的6大問題（附解決方案）》

傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的核心區(qū)別

傳統(tǒng)機(jī)器學(xué)習(xí)的特征提取主要依賴人工，針對特定簡單任務(wù)的時候人工提取特征會簡單有效，但是并不能通用。

深度學(xué)習(xí)的特征提取并不依靠人工，而是機(jī)器自動提取的。這也是為什么大家都說深度學(xué)習(xí)的可解釋性很差，因為有時候深度學(xué)習(xí)雖然能有好的表現(xiàn)，但是我們并不知道他的原理是什么。

深度學(xué)習(xí)的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)1：學(xué)習(xí)能力強(qiáng)

從結(jié)果來看，深度學(xué)習(xí)的表現(xiàn)非常好，他的學(xué)習(xí)能力非常強(qiáng)。

優(yōu)點(diǎn)2：覆蓋范圍廣，適應(yīng)性好

深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)很多，寬度很廣，理論上可以映射到任意函數(shù)，所以能解決很復(fù)雜的問題。

優(yōu)點(diǎn)3：數(shù)據(jù)驅(qū)動，上限高

深度學(xué)習(xí)高度依賴數(shù)據(jù)，數(shù)據(jù)量越大，他的表現(xiàn)就越好。在圖像識別、面部識別、NLP 等部分任務(wù)甚至已經(jīng)超過了人類的表現(xiàn)。同時還可以通過調(diào)參進(jìn)一步提高他的上限。

優(yōu)點(diǎn)4：可移植性好

由于深度學(xué)習(xí)的優(yōu)異表現(xiàn)，有很多框架可以使用，例如 TensorFlow、Pytorch。這些框架可以兼容很多平臺。

缺點(diǎn)1：計算量大，便攜性差

深度學(xué)習(xí)需要大量的數(shù)據(jù)很大量的算力，所以成本很高。并且現(xiàn)在很多應(yīng)用還不適合在移動設(shè)備上使用。目前已經(jīng)有很多公司和團(tuán)隊在研發(fā)針對便攜設(shè)備的芯片。這個問題未來會得到解決。

缺點(diǎn)2：硬件需求高

深度學(xué)習(xí)對算力要求很高，普通的 CPU 已經(jīng)無法滿足深度學(xué)習(xí)的要求。主流的算力都是使用 GPU 和 TPU，所以對于硬件的要求很高，成本也很高。

缺點(diǎn)3：模型設(shè)計復(fù)雜

深度學(xué)習(xí)的模型設(shè)計非常復(fù)雜，需要投入大量的人力物力和時間來開發(fā)新的算法和模型。大部分人只能使用現(xiàn)成的模型。

缺點(diǎn)4：沒有”人性”，容易存在偏見

由于深度學(xué)習(xí)依賴數(shù)據(jù)，并且可解釋性不高。在訓(xùn)練數(shù)據(jù)不平衡的情況下會出現(xiàn)性別歧視、種族歧視等問題。

4種典型的深度學(xué)習(xí)算法

卷積神經(jīng)網(wǎng)絡(luò) - CNN

CNN 的價值：

1. 能夠?qū)⒋髷?shù)據(jù)量的圖片有效的降維成小數(shù)據(jù)量(并不影響結(jié)果)

2. 能夠保留圖片的特征，類似人類的視覺原理

CNN 的基本原理：

1. 卷積層 – 主要作用是保留圖片的特征

2. 池化層 – 主要作用是把數(shù)據(jù)降維，可以有效的避免過擬合

3. 全連接層 – 根據(jù)不同任務(wù)輸出我們想要的結(jié)果

CNN 的實際應(yīng)用：

1. 圖片分類、檢索

2. 目標(biāo)定位檢測

3. 目標(biāo)分割

4. 人臉識別

5. 骨骼識別

了解更多《一文看懂卷積神經(jīng)網(wǎng)絡(luò)-CNN（基本原理+獨(dú)特價值+實際應(yīng)用）》

循環(huán)神經(jīng)網(wǎng)絡(luò) - RNN

RNN 是一種能有效的處理序列數(shù)據(jù)的算法。比如：文章內(nèi)容、語音音頻、股票價格走勢…

之所以他能處理序列數(shù)據(jù)，是因為在序列中前面的輸入也會影響到后面的輸出，相當(dāng)于有了“記憶功能”。但是 RNN 存在嚴(yán)重的短期記憶問題，長期的數(shù)據(jù)影響很?。呐滤侵匾男畔ⅲ?。

于是基于 RNN 出現(xiàn)了 LSTM 和 GRU 等變種算法。這些變種算法主要有幾個特點(diǎn)：

1. 長期信息可以有效的保留

2. 挑選重要信息保留，不重要的信息會選擇“遺忘”

RNN 幾個典型的應(yīng)用如下：

1. 文本生成

2. 語音識別

3. 機(jī)器翻譯

4. 生成圖像描述

5. 視頻標(biāo)記

了解更多《一文看懂循環(huán)神經(jīng)網(wǎng)絡(luò)-RNN（獨(dú)特價值+優(yōu)化算法+實際應(yīng)用）》

生成對抗網(wǎng)絡(luò) - GANs

假設(shè)一個城市治安混亂，很快，這個城市里就會出現(xiàn)無數(shù)的小偷。在這些小偷中，有的可能是盜竊高手，有的可能毫無技術(shù)可言。假如這個城市開始整飭其治安，突然開展一場打擊犯罪的「運(yùn)動」，警察們開始恢復(fù)城市中的巡邏，很快，一批「學(xué)藝不精」的小偷就被捉住了。之所以捉住的是那些沒有技術(shù)含量的小偷，是因為警察們的技術(shù)也不行了，在捉住一批低端小偷后，城市的治安水平變得怎樣倒還不好說，但很明顯，城市里小偷們的平均水平已經(jīng)大大提高了。

警察們開始繼續(xù)訓(xùn)練自己的破案技術(shù)，開始抓住那些越來越狡猾的小偷。隨著這些職業(yè)慣犯們的落網(wǎng)，警察們也練就了特別的本事，他們能很快能從一群人中發(fā)現(xiàn)可疑人員，于是上前盤查，并最終逮捕嫌犯；小偷們的日子也不好過了，因為警察們的水平大大提高，如果還想以前那樣表現(xiàn)得鬼鬼祟祟，那么很快就會被警察捉住。為了避免被捕，小偷們努力表現(xiàn)得不那么「可疑」，而魔高一尺、道高一丈，警察也在不斷提高自己的水平，爭取將小偷和無辜的普通群眾區(qū)分開。隨著警察和小偷之間的這種「交流」與「切磋」，小偷們都變得非常謹(jǐn)慎，他們有著極高的偷竊技巧，表現(xiàn)得跟普通群眾一模一樣，而警察們都練就了「火眼金睛」，一旦發(fā)現(xiàn)可疑人員，就能馬上發(fā)現(xiàn)并及時控制——最終，我們同時得到了最強(qiáng)的小偷和最強(qiáng)的警察。

了解更多《什么是生成對抗網(wǎng)絡(luò) - GAN？（基本概念+工作原理）》

深度強(qiáng)化學(xué)習(xí) - RL

強(qiáng)化學(xué)習(xí)算法的思路非常簡單，以游戲為例，如果在游戲中采取某種策略可以取得較高的得分，那么就進(jìn)一步「強(qiáng)化」這種策略，以期繼續(xù)取得較好的結(jié)果。這種策略與日常生活中的各種「績效獎勵」非常類似。我們平時也常常用這樣的策略來提高自己的游戲水平。

在 Flappy bird 這個游戲中，我們需要簡單的點(diǎn)擊操作來控制小鳥，躲過各種水管，飛的越遠(yuǎn)越好，因為飛的越遠(yuǎn)就能獲得更高的積分獎勵。

這就是一個典型的強(qiáng)化學(xué)習(xí)場景：

• 機(jī)器有一個明確的小鳥角色——代理

• 需要控制小鳥飛的更遠(yuǎn)——目標(biāo)

• 整個游戲過程中需要躲避各種水管——環(huán)境

• 躲避水管的方法是讓小鳥用力飛一下——行動

• 飛的越遠(yuǎn)，就會獲得越多的積分——獎勵

你會發(fā)現(xiàn)，強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí) 最大的不同就是不需要大量的“數(shù)據(jù)喂養(yǎng)”。而是通過自己不停的嘗試來學(xué)會某些技能。

了解更多：《一文看懂什么是強(qiáng)化學(xué)習(xí)？（基本概念+應(yīng)用場景+主流算法）》

總結(jié)

深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的范疇，深度學(xué)習(xí)可以說是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級，約等于神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)在數(shù)據(jù)預(yù)處理上都是類似的。核心差別在特征提取環(huán)節(jié)，深度學(xué)習(xí)由機(jī)器自己完成特征提取，不需要人工提取。

深度學(xué)習(xí)的優(yōu)點(diǎn)：

1. 學(xué)習(xí)能力強(qiáng)

2. 覆蓋范圍廣，適應(yīng)性好

3. 數(shù)據(jù)驅(qū)動，上限高

4. 可移植性好

深度學(xué)習(xí)的缺點(diǎn)：

1. 計算量大，便攜性差

2. 硬件需求高

3. 模型設(shè)計復(fù)雜

4. 沒有”人性”，容易存在偏見

深度學(xué)習(xí)的4種典型算法：

1. 卷積神經(jīng)網(wǎng)絡(luò) - CNN

2. 循環(huán)神經(jīng)網(wǎng)絡(luò) - RNN

3. 生成對抗網(wǎng)絡(luò) - GANs

4. 深度強(qiáng)化學(xué)習(xí) - RL

文章來源于產(chǎn)品經(jīng)理的 AI 知識庫，作者easyAI