1. 前言

a. 齋藤康毅，深度學(xué)習(xí)入門——教材（魚書）

i. 沒有用任何的框架，從最原始素材開始介紹

ii. 透過框架（該封裝的封裝好）看本質(zhì)：對于學(xué)習(xí)技術(shù)而言，邏輯關(guān)系更清晰

b. 參考書（了解更多技術(shù)）：

i. 更深入地學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)（邱錫鵬）

ii. 圣經(jīng)：Deep Learning （花書，Ian Goodfellow，GAN網(wǎng)絡(luò)的提出者；Yoshua Bengio，博士生導(dǎo)師，2018圖靈獎獲得者）

1) 有些內(nèi)容可能已經(jīng)有點老了

c. 如果完全采用別人的代碼，跑出來一個結(jié)果，需要在開頭第一行二號字體，黃色背景，紅色字地注明

d.? 宋麟老師：深度學(xué)習(xí)與實踐

2. 第一講：感知機與前饋神經(jīng)網(wǎng)絡(luò)

a. 神經(jīng)網(wǎng)絡(luò)的發(fā)展階段

i. 第一階段：啟蒙期

1) 1943年，心理學(xué)家Warren McCulloch和數(shù)學(xué)家Walter Pitts最早描述了一種理想化的人工神經(jīng)網(wǎng)絡(luò)，并構(gòu)建了一種基于簡單邏輯運算的計算機制。他們提出的神經(jīng)網(wǎng)絡(luò)稱為MP模型

a) 二戰(zhàn)：解剖生理學(xué)傷亡比較多，有條件去研究生物大腦的機制

2) 1958年，Rosenblatt提出了感知機（Perceptron），是一種可以模擬人類感知能力的神經(jīng)網(wǎng)絡(luò)模型，提出了一種接近于人類學(xué)習(xí)過程（迭代、試錯）的學(xué)習(xí)算法

ii. 第二階段：冰河期（關(guān)鍵瓶頸）

1) 1969年，Marvin Minsky出版《感知機》一書，指出兩個重要問題：

a) 感知機無法處理異或回路（XOR）

i) 相同的輸出為0，不同的輸出為1

b) 電腦沒有足夠的能力來處理大型神經(jīng)網(wǎng)絡(luò)需要很長的時間

iii. 第三階段：復(fù)興期（方向傳播算法）

1) 1983年，Caltech的物理學(xué)家John Hopfield對神經(jīng)網(wǎng)絡(luò)引入能量函數(shù)的概念，并提出了用于聯(lián)想記憶和優(yōu)化計算的網(wǎng)絡(luò)，在旅行商問題上獲得當(dāng)時最好的結(jié)果

2) 1984年，Geoffey Hinton提出一種隨機化版本的Hopfield網(wǎng)絡(luò)，即玻爾茲曼機

a) BP算法不是Hinton提出的（雖然文章包含他的名字）

3) 1986年，重新發(fā)明了反向傳播算法

4) 1989年，LeCun et al將方向傳播算法引入了卷積神經(jīng)網(wǎng)絡(luò)，并在手寫體數(shù)字識別上取得了很大的成果

a) 現(xiàn)在很多案例是手寫數(shù)字識別，就是因為這個歷史

iv. 第四階段：神經(jīng)網(wǎng)絡(luò)研究的低潮期（流行度降低）

1) 20年代90年代中期，統(tǒng)計學(xué)習(xí)理論和以支持向量機為代表的機器學(xué)習(xí)模型開始興起

a) SVM有非常好的數(shù)學(xué)解釋（兩類的支持向量之間的距離盡可能大）；結(jié)果也好；理論也優(yōu)美

2) 相較之下，神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)不清晰、優(yōu)化困難、可解釋性差；研究神經(jīng)網(wǎng)絡(luò)拿不到founding

v. 第五階段：爆發(fā)期（深度學(xué)習(xí)的崛起）

1) 2006年，出走加拿大多倫多大學(xué)的Hinton and Salakhutdinov先通過逐層預(yù)訓(xùn)練，再用BP算法進行精調(diào)對多層前饋神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)

a) 很早人們就注意到了這個現(xiàn)象（網(wǎng)絡(luò)越深性能越好），所以在概念上其實沒有太多的意義

b) 但是可以發(fā)Science的意義在于，真的訓(xùn)練出了一個加深的神經(jīng)網(wǎng)絡(luò)（可以實現(xiàn)了）

c) 類似于：一層一層蓋房子。先訓(xùn)兩層淺層神經(jīng)網(wǎng)絡(luò)，然后固定住這兩層，訓(xùn)新加的一層 → 從訓(xùn)練上來講還是在訓(xùn)淺層神經(jīng)網(wǎng)絡(luò)，但結(jié)果上得到了一個深層神經(jīng)網(wǎng)絡(luò)

d) 可惜的是，做計算機的人不看Science，也很少看期刊，更多只看自己領(lǐng)域的會議；因此并沒有在計算機領(lǐng)域引起轟動，只是在神經(jīng)網(wǎng)絡(luò)小圈子里面引起了一定的效應(yīng)

2) 爆發(fā)點：2012年ImageNet，圖像分類挑戰(zhàn)大賽（創(chuàng)始人，斯坦福大學(xué)李菲菲，收集了10^6的圖片，需要分1000個類，需要做細粒度分量）

a) ImageNet，評價指標(biāo)是錯誤率；允許有5個類別（五次機會）的預(yù)測，有一個對就算對；

i) 2012年以前冠軍隊伍錯誤率居高不下（緩慢的進步）；2012年冠軍隊伍的錯誤率一下子降了10個點（顛覆性進步）——國際上紛紛猜測究竟是什么方法能做到這樣打的提升，也在猜是哪個隊伍——揭曉之后，發(fā)現(xiàn)是Jeffery Hinton使用的8層神經(jīng)網(wǎng)絡(luò)（深度神經(jīng)網(wǎng)絡(luò)）的技術(shù)

b) 深度人工神經(jīng)網(wǎng)絡(luò)在語音識別和圖像分類等任務(wù)上取得了巨大成功；此外，隨著大規(guī)模并行計算以及GPU設(shè)備的普及，計算機的計算能力得到大幅提高。此外，可供機器學(xué)習(xí)的數(shù)據(jù)規(guī)模也越來越大

i) 做視覺的人很多，ImageNet受商業(yè)界關(guān)注也很多，此后人工神經(jīng)網(wǎng)絡(luò)就“出圈”了，而不僅僅限于在研究人工神經(jīng)網(wǎng)絡(luò)技術(shù)的小圈子內(nèi)加以研究

One. 出圈過程：CS-人工智能-計算機視覺；CS-人工智能；CS；CS相關(guān)領(lǐng)域（軟件工程，核查代碼，自動生成代碼等等）；CS外的領(lǐng)域

ii) 17年，機器能做到的錯誤率可以達到3.5%，已經(jīng)屬于是人能夠做到的水平。此后ImageNet的比賽就停下來了，因為機器在這個問題上已經(jīng)做得比人好了

b. 知名的學(xué)術(shù)機構(gòu)及科學(xué)家

i. Toronto大學(xué)：Hinton 75年Edinburgh大學(xué)博士

ii. NYU大學(xué)：Lecun 87年Hinton博士

iii. Montreal大學(xué)：Begio 91年M. Jordan博士后

iv. Stanford大學(xué)：Ng 03nian UC Berkeley大學(xué) M. Jordan博士

v. IDSIA： Jugen Schimidhuber，寫了一篇文章，內(nèi)容是幾乎每一個神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的重大突破同它十幾年前的文章的聯(lián)系；多次在演講中提到認為圖靈獎沒有頒給自己不公平

c. 常用的深度學(xué)習(xí)框架：很多頭部的IT公司都提出了自己的框架，進行了推廣（model zoo，model.train）… 極大地降低了技術(shù)的使用門檻，金錢的力量，“調(diào)包工程師”

i. 深度學(xué)習(xí)是一個工程應(yīng)用，從應(yīng)用的角度來說，它沒有什么數(shù)學(xué)（相對地）；它最主要的數(shù)學(xué)背景，就是梯度下降（大一水平）

d. 神經(jīng)元模型——神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)

i. 生物神經(jīng)元：樹突——接收外界刺激；細胞體——興奮/抑制；軸突/突觸——將興奮態(tài)傳遞給其他細胞

1) 單個神經(jīng)細胞只有兩種狀態(tài)：興奮和抑制；興奮——刺激超過閾值觸發(fā)

ii. 從生物神經(jīng)元到人工神經(jīng)元

1) 人工神經(jīng)元的六點假設(shè)

a) 每個神經(jīng)元都是多入單出的系統(tǒng)：類比生物神經(jīng)元，就是有多個樹突，但是只有一個軸突

b) 神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型

c) 神經(jīng)元具有空間整合特性和閾值激活特性

i) 空間整合：多個輸入加權(quán)求和（帶權(quán)重，不是trivial的求和）；x^Tw=x_iw_i

ii) 閾值激活：求和匯聚起來之后，跟閾值比較（閾值激勵，閾值是一種階躍函數(shù)），超過閾值就激活；sigma(x^Tw-theta)，其中sigma是階躍函數(shù)，theta是閾值

One. 激活函數(shù)y=sigma(net)，net叫凈輸入（類似于經(jīng)管中的，凈收益的概念）

d) 神經(jīng)元輸入與輸出之間有固定時滯，取決于突觸延擱

e) 忽略時間整合和不應(yīng)期

f) （人工）神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)

2) 人工神經(jīng)元模型也叫“感知機”（感知機是不嚴格的說法；嚴格地說只能叫人工神經(jīng)元模型）

a) 嚴格的感知機模型，是把人工神經(jīng)網(wǎng)絡(luò)中很多的“神經(jīng)體”部分拼成一列集合成的整體；也就是說，感知機的輸出可以有多個輸出端

i) 感知機模型，單層神經(jīng)網(wǎng)絡(luò)，用于多分類問題

One. 神經(jīng)元網(wǎng)絡(luò)的層數(shù)，不包括輸入，但是可以包括輸出。輸入是第0層。

b) 人工神經(jīng)元模型，算是一種二分類的感知機模型；所以它也可以叫二分類的感知機

e. 感知機的數(shù)學(xué)模型

i. 理論很清晰

ii. 實驗效果也很好：

1) 可以模擬簡單邏輯電路：與門（邏輯與運算）

a) 與運算：同真才為真

b) 人工神經(jīng)元模型：在選擇一些合適的w1，w2和theta的情況下，的確可以實現(xiàn)，輸入兩個真/假（1/0），人工神經(jīng)元可以可以輸出與運算的結(jié)果

2) 類似的，也可以模擬與非運算（與運算取反）

3) 類似的，也可以做或運算（一真即為真）

4) 50年代的人認為：這么簡單一個模型，就可以輸出邏輯關(guān)系

iii. 可惜的地方：異或門不能實現(xiàn)

1) 亦即，不存在任何一組參數(shù)（w1,w2,theta)，能夠讓人工神經(jīng)元輸出與“亦或運算”相同的結(jié)果

iv. 為什么搞不定異或門？

1) 畫圖——水平軸是x1，垂直軸為x2

a) 菱形點和圓心點的分類（菱形點，邏輯運算結(jié)果為真（1）的點；圓形點，邏輯運算結(jié)果為假（0）的點）

b) 與門，與非門，或門：都是線性可分的——人工神經(jīng)元（或者感知機模型）相當(dāng)于線性的分類器，因此可以對這些問題進行分類

i) 線性可分：拿一條線（超平面），把空間一分為二，每一半空間內(nèi)都是同一類的點；

c) 異或門是線性不可分，非線性可分的：

i) 邏輯亦或，是線性不可分的問題，不能拿線性分類器分開；必須拿非線性分類器才能分開（例如SVM這種帶耦合的東西）

ii) 這表明，人工神經(jīng)元這個模型本身在實現(xiàn)智能的路上，還是存在一定“不足”的

v. 感知機搞不定：多層感知機

1) Minsky出書說感知機沒辦法搞定異或門；

2) 電子工程師，在工程上的經(jīng)驗：基本邏輯門電路（AND NAND OR）的組合門電路，與門+或門+與非門組合，可以實現(xiàn)兩個輸入，一個輸出，但是組合電路能實現(xiàn)異或門的效果；這個事情在搭數(shù)字電路的時候天天干；

3) 類似于，人工神經(jīng)網(wǎng)絡(luò)考慮的是相對比較泛化問題；而電子工程師在泛化問題中的一個特殊情況（取值范圍只有0,1）中的積累的經(jīng)驗，指出一種特殊的解決方法；而再加上泛化的考慮方式，可以將這種解決方法擴展到更泛化的情況中去

a) 不同領(lǐng)域之間的交流，有時候會非常重要（本領(lǐng)域的知識積累，e^ix|x=x0，x0表示某種發(fā)現(xiàn)的解決方法；和其他領(lǐng)域交流，對于其他領(lǐng)域來說，可能就有y=ix0，e^iy|y=y0。因此，對于同一個問題的看法的交流，從不同的角度來說，其意義可能是會有更大的擴展的）

3. Colab

a. 基于Jupyter Notebook的云計算服務(wù)

b. 前置條件：能夠訪問Google，并且創(chuàng)建賬戶

i. 需要結(jié)合Google Drive使用比較好

c. 基本操作

i. 創(chuàng)建單元格（類似于Jupyter Notebook，有代碼單元格和文本單元格）；單元格上面的按鈕可以對單元格進行操作；

1) 代碼單元格可以放Python代碼和Linux代碼（Shell代碼需要以!開頭）；每運行一次代碼，都需要連接到會話（session）

2) 運行按鈕在左上角

ii. 申請GPU，點右上角資源狀態(tài)圖（RAM,磁盤），進行資源管理 -> 更改運行時類型

iii. 文件操作

1) 臨時上傳/下載文件：文件面板上傳，shell命令下載

2) 掛在Google Drive云盤：插入代碼段，在彈出窗口中允許訪問Google賬號，這樣就可以反復(fù)掛在

iv. 使用限制：超過一段時間沒有操作，Colab自動段考當(dāng)前會話；GPU超過12個小時自動停用（不管有沒有跑）