前面三章，我們從淺層的線性神經(jīng)網(wǎng)絡(luò)講起，介紹了深度的非線性神經(jīng)網(wǎng)絡(luò)，然后又詳細(xì)介紹了求解深度網(wǎng)絡(luò)模型的梯度下降法及其各種變體。從神經(jīng)網(wǎng)絡(luò)的發(fā)展史來看，這些工作早在七八十年前就已經(jīng)完成了，感知機(jī)模型1950年就被Frank Rosenblatt提出來了，但是由于其自身的各種問題和沒有計(jì)算機(jī)能夠?qū)崿F(xiàn)這種網(wǎng)絡(luò)，所以這項(xiàng)工作沒有得到進(jìn)一步的發(fā)展。直到在 1980 年代，神經(jīng)網(wǎng)絡(luò)技術(shù)開始被廣泛應(yīng)用于各種領(lǐng)域，如自然語言處理、圖像識別。那么在 1980 年代之后，神經(jīng)網(wǎng)絡(luò)技術(shù)又發(fā)生了哪些變化呢？本章開始，梗直哥就帶你深入了解其中一類最重要的模型：卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)是人類識別、自動駕駛汽車等大多數(shù)計(jì)算機(jī)視覺應(yīng)用的支柱?？梢哉J(rèn)為是一種特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中基本的矩陣乘法運(yùn)算被卷積運(yùn)算取代，專門處理具有網(wǎng)格狀拓?fù)浣Y(jié)構(gòu)的數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)于1980年由Fukushima首次提出，叫做Neocognitron。靈感來自 Hubel 和 Weisel 提出的神經(jīng)系統(tǒng)層次模型。最初該模型并不流行，因?yàn)槠鋸?fù)雜的無監(jiān)督學(xué)習(xí)算法被稱為沒有老師的學(xué)習(xí)。Yann LeCun 在 1989 年使用反向傳播和Neocognitron的概念提出了一種名為LeNet的架構(gòu)，被美國郵政服務(wù)用于手寫郵政編碼識別。Yann LeCun堅(jiān)持不懈，不斷改進(jìn)這個模型，最終在 1998 年發(fā)布了 LeNet-5，第一個引入了我們今天仍在 CNN 中使用的一些基本概念的現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)。同時，他還發(fā)布了 MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集，這可能是機(jī)器學(xué)習(xí)中最著名的基準(zhǔn)數(shù)據(jù)集。在上世紀(jì)90年代，計(jì)算機(jī)視覺領(lǐng)域轉(zhuǎn)移了重心，神經(jīng)網(wǎng)絡(luò)研究經(jīng)歷了一個寒冬，直到 2012 年，多倫多大學(xué)的一組研究人員在著名的 ImageNet 挑戰(zhàn)賽中使用基于 CNN 的模型（AlexNet），以 16.4% 的錯誤率獲勝受到學(xué)術(shù)界和工業(yè)界的熱烈關(guān)注，由此也引發(fā)了人工智能新的春天。

讓我們一起來深入了解這類明顯模型的原理和技術(shù)細(xì)節(jié)吧！

本章目錄

7.1 全連接層問題

7.2 圖像卷積

7.3 卷積層

7.4 卷積層常見操作

7.5 池化層 Pooling

7.6 卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)（LeNet)

《深度學(xué)習(xí)公開課》專欄會在公眾號“梗直哥”同步更新。梗哥為大家準(zhǔn)備了一些學(xué)習(xí)資料，歡迎+V:gengzhige99領(lǐng)取，這里還有一群志同道合的小伙伴，歡迎入群一起交流討論，與大家共同進(jìn)步。