4.9 卷積神經(jīng)網(wǎng)絡(luò)CNN的基本原理 本文基于深度學(xué)習(xí)的主題，將在第35題“詳細(xì)解釋CNN的工作原理”的基礎(chǔ)上，結(jié)合第36題“CNN是如何一步一步工作的？”的圖像識(shí)別示例，全面闡述了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基本工作原理。 1 前言 深度學(xué)習(xí)的興起可以追溯到2012年，當(dāng)時(shí)舉辦了8期機(jī)器學(xué)習(xí)讀書會(huì)，人們對(duì)機(jī)器學(xué)習(xí)充滿了熱情。然而，隨著時(shí)間的推移，深度學(xué)習(xí)逐漸成為了熱門話題。雖然我公司的在線課程由60多位講師團(tuán)隊(duì)提供，但我仍然努力將復(fù)雜的概念以簡(jiǎn)單易懂的方式呈現(xiàn)，這是重新撰寫技術(shù)博客的價(jià)值所在。 在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一個(gè)關(guān)鍵概念，它是入門深度學(xué)習(xí)的必備知識(shí)。本文的內(nèi)容主要參考了斯坦福大學(xué)的機(jī)器學(xué)習(xí)公開課CS231n和“七月在線”的深度學(xué)習(xí)課程，旨在提供一份通俗易懂的CNN導(dǎo)論。 2 人工神經(jīng)網(wǎng)絡(luò) 2.1 神經(jīng)元 神經(jīng)網(wǎng)絡(luò)由大量神經(jīng)元相互連接而成。每個(gè)神經(jīng)元接收線性組合的輸入，最初只是簡(jiǎn)單的線性加權(quán)和。但后來(lái)為了引入非線性變換，每個(gè)神經(jīng)元都加入了激活函數(shù)。神經(jīng)元之間的連接代表著權(quán)重，不同的權(quán)重和激活函數(shù)會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)產(chǎn)生不同的輸出。 以手寫數(shù)字識(shí)別為例，給定一個(gè)未知數(shù)字圖像，神經(jīng)網(wǎng)絡(luò)的輸入由一組激活的輸入神經(jīng)元表示。經(jīng)過(guò)非線性激活函數(shù)的變換后，神經(jīng)元被激活并傳遞到其他神經(jīng)元。這個(gè)過(guò)程不斷重復(fù)，直到最后一個(gè)輸出神經(jīng)元被激活，從而識(shí)別出當(dāng)前數(shù)字是什么。 神經(jīng)元的基本公式如下： a = g(w * x + b) 其中： - x 表示輸入向量 - w 表示權(quán)重，多個(gè)輸入對(duì)應(yīng)多個(gè)權(quán)重，即每個(gè)輸入都有一個(gè)權(quán)重 - b 表示偏置項(xiàng) - g(z) 表示激活函數(shù) - a 表示輸出 如果只是這樣解釋，可能對(duì)于初次接觸的人會(huì)感到迷糊。實(shí)際上，這個(gè)簡(jiǎn)單模型可以追溯到20世紀(jì)50/60年代的感知器，它可以將決策建立在不同因素和它們的重要性上。 舉個(gè)例子，假設(shè)北京周末有一個(gè)草莓音樂(lè)節(jié)，我們要決定是否參加。決定的因素有兩個(gè)，這兩個(gè)因素可以表示為輸入 x1 和 x2，而它們對(duì)決策的影響程度由權(quán)重 w1 和 w2 表示。一般來(lái)說(shuō)，音樂(lè)節(jié)的演唱嘉賓對(duì)我們的決策影響很大，所以我們可以這樣表示： x1：是否有喜歡的演唱嘉賓。如果喜歡，x1 = 1；如果不喜歡，x1 = 0。演唱嘉賓因素的權(quán)重 w1 = 7。 x2：是否有人陪同去。如果有人陪同，x2 = 1；如果沒(méi)有人陪同，x2 = 0。是否有人陪同的權(quán)重 w2 = 3。 這樣，我們就建立了一個(gè)決策模型：a = g(w * x + b)，其中 g 表示激活函數(shù)，b 可以看作是用于調(diào)整以更好地實(shí)現(xiàn)目標(biāo)的偏置項(xiàng)。如果只有 x1 和 x2 同時(shí)取值為 1 時(shí)，g(z) → 1，判定為正樣本；如果 x1 和 x2 中至少有一個(gè)取值為 0 時(shí)，g(z) → 0，判定為負(fù)樣本。 2.2 激活函數(shù) 常用的非線性激活函數(shù)包括 Sigmoid、tanh、ReLU 等。Sigmoid 和 tanh 通常用于全連接層，而 ReLU 常用于卷積層。我們首先簡(jiǎn)要介紹一下最基本的 Sigmoid 函數(shù)： Sigmoid 函數(shù)的數(shù)學(xué)表達(dá)式如下： g(z) = 1 / (1 + e^(-z)) 其中 z 是線性組合的結(jié)果，可以是例如：z = w * x + b。通過(guò)代入較大的正數(shù)或較小的負(fù)數(shù)到 g(z) 函數(shù)中，可以看出其結(jié)果趨近于 0 或 1。因此，Sigmoid 函數(shù) g(z) 的圖形如下所示： （插入 Sigmoid 函數(shù)的圖像） 換句話說(shuō)，Sigmoid 函數(shù)的作用相當(dāng)于將實(shí)數(shù)壓縮到 0 到 1 之間。當(dāng) z 是非常大的正數(shù)時(shí)，g(z) 趨近于 1；當(dāng) z 是非常小的負(fù)數(shù)時(shí)，g(z) 趨近于 0。將結(jié)果壓縮到 0 到 1 之間的好處是，我們可以將激活函數(shù)視為一種“分類的概率”，例如，激活函數(shù)的輸出為 0.9 可以解釋為90%的概率 表示正樣本。 同樣，tanh 函數(shù)也是一種非線性激活函數(shù)，其數(shù)學(xué)表達(dá)式如下： g(z) = (e^z - e^(-z)) / (e^z + e^(-z)) tanh 函數(shù)的圖形如下所示： （插入 tanh 函數(shù)的圖像） tanh 函數(shù)的作用是將實(shí)數(shù)壓縮到 -1 到 1 之間。與 Sigmoid 不同，tanh 函數(shù)的輸出可以是負(fù)數(shù)，因此它可以表示正負(fù)樣本的概率。tanh 函數(shù)在一些神經(jīng)網(wǎng)絡(luò)中仍然有用，但在卷積神經(jīng)網(wǎng)絡(luò)中，ReLU 更為流行。 ReLU（Rectified Linear Unit）是一種非常簡(jiǎn)單但有效的激活函數(shù)。其數(shù)學(xué)表達(dá)式如下： g(z) = max(0, z) 這意味著如果 z 大于等于 0，則輸出為 z，否則輸出為 0。ReLU 的圖形如下所示： （插入 ReLU 函數(shù)的圖像） ReLU 的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單且有效，但也有一個(gè)問(wèn)題，就是在 z 小于 0 時(shí)，梯度為零，這會(huì)導(dǎo)致梯度消失問(wèn)題。為了解決這個(gè)問(wèn)題，出現(xiàn)了一些改進(jìn)版的 ReLU，如 Leaky ReLU 和 Parametric ReLU（PReLU）。 至此，我們已經(jīng)了解了神經(jīng)元的基本原理以及常用的激活函數(shù)。在卷積神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的組織和連接方式有所不同，這就是我們將在下一節(jié)中討論的內(nèi)容。 3 卷積神經(jīng)網(wǎng)絡(luò)（CNN） 卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種特殊的神經(jīng)網(wǎng)絡(luò)，主要用于圖像識(shí)別和處理任務(wù)。它的設(shè)計(jì)靈感來(lái)自于生物學(xué)中對(duì)動(dòng)物視覺(jué)系統(tǒng)的研究，尤其是貓的視覺(jué)系統(tǒng)。CNN 的核心概念是卷積層和池化層。 3.1 卷積層 卷積層是 CNN 的核心組件之一，它模擬了生物學(xué)中的視覺(jué)皮層，通過(guò)局部感知域和權(quán)重共享來(lái)實(shí)現(xiàn)對(duì)輸入圖像的特征提取。卷積層的輸入通常是一個(gè)多通道的圖像（例如，RGB 彩色圖像有三個(gè)通道），而輸出是一組二維特征圖，每個(gè)特征圖對(duì)應(yīng)一個(gè)不同的特征。 在卷積層中，有兩個(gè)重要的概念：卷積核和步幅。卷積核是一個(gè)小的二維濾波器，它在輸入圖像上滑動(dòng)，計(jì)算每個(gè)位置的卷積操作。步幅表示卷積核每次滑動(dòng)的距離。通過(guò)調(diào)整卷積核的大小和步幅，可以控制特征圖的大小。 卷積操作的數(shù)學(xué)表示如下： 輸出特征圖 = 輸入圖像 * 卷積核 在實(shí)際應(yīng)用中，通常有多個(gè)卷積核，每個(gè)卷積核用于檢測(cè)輸入圖像中的不同特征。通過(guò)對(duì)輸入圖像的不同位置應(yīng)用不同的卷積核，CNN 可以提取出圖像的局部特征，例如邊緣、紋理等。 3.2 池化層 池化層用于減小特征圖的大小，降低計(jì)算復(fù)雜度，并增強(qiáng)網(wǎng)絡(luò)的平移不變性。池化操作通常在每個(gè)特征圖上執(zhí)行，通過(guò)在局部感知域內(nèi)取最大值或平均值來(lái)減小特征圖的尺寸。 最常見(jiàn)的池化操作是最大池化（Max Pooling），它在局部感知域內(nèi)選擇最大值作為輸出。最大池化的數(shù)學(xué)表示如下： 輸出特征圖 = Max(局部感知域) 最大池化操作可以幫助網(wǎng)絡(luò)保留重要的特征，同時(shí)減小特征圖的尺寸。其他類型的池化操作包括平均池化（Average Pooling）等。 4 CNN的工作原理 現(xiàn)在，我們將詳細(xì)解釋 CNN 是如何一步一步工作的，以圖像識(shí)別為例。 4.1 輸入圖像 首先，輸入圖像被傳遞到 CNN 網(wǎng)絡(luò)中。輸入圖像通常是一個(gè)多通道的矩陣，其中每個(gè)通道代表圖像的不同顏色通道（例如，RGB 彩色圖像有三個(gè)通道）。 4.2 卷積層 在卷積層中，輸入圖像經(jīng)過(guò)一系列卷積核的滑動(dòng)操作，每個(gè)卷積核檢測(cè)輸入圖像中的不同特征。這些特征映射（也稱為特征圖）捕獲了圖像的局部特征，例如邊緣、紋理等。每個(gè)特征圖都是通過(guò)對(duì)應(yīng)卷積核與輸入圖像執(zhí)行卷積操作得到的。 4.3 非線性激活函數(shù) 在卷積層之后，通常會(huì)應(yīng)用非線性激活函數(shù)，例如 ReLU，以引入非線性變換。這可以增加網(wǎng)絡(luò)的表達(dá)能力并使其能夠?qū)W習(xí)復(fù)雜的特征。 4.4 池化層 池化層用于減小特征圖的尺寸，同時(shí)保留重要的特征。最常見(jiàn)的是最大池化，它在每個(gè)特征圖上執(zhí)行最大池化操作。 4.5 全連接層 在經(jīng)過(guò)多個(gè) 卷積層和池化層之后，通常會(huì)添加全連接層。全連接層將所有特征圖中的信息匯總，并將其傳遞給輸出層。 4.6 輸出層 輸出層通常包含一個(gè)或多個(gè)神經(jīng)元，用于輸出網(wǎng)絡(luò)對(duì)輸入圖像的分類結(jié)果。對(duì)于圖像分類任務(wù)，常用的輸出層激活函數(shù)是 softmax 函數(shù)，它將網(wǎng)絡(luò)的原始輸出轉(zhuǎn)化為類別概率分布。 4.7 訓(xùn)練和反向傳播 CNN 的訓(xùn)練過(guò)程通常使用反向傳播算法。在訓(xùn)練中，網(wǎng)絡(luò)通過(guò)與標(biāo)簽進(jìn)行比較來(lái)計(jì)算損失，并通過(guò)梯度下降算法來(lái)調(diào)整權(quán)重和偏置，以最小化損失函數(shù)。這個(gè)過(guò)程需要大量的標(biāo)記樣本和反復(fù)迭代。 5 應(yīng)用領(lǐng)域 CNN 在圖像識(shí)別、圖像分類、目標(biāo)檢測(cè)、人臉識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得了顯著的成就。它們已經(jīng)在許多實(shí)際應(yīng)用中取得了成功，如自動(dòng)駕駛、醫(yī)學(xué)影像分析、安全監(jiān)控等。 總之，卷積神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的深度學(xué)習(xí)模型，特別適用于處理圖像數(shù)據(jù)。它通過(guò)卷積層和池化層來(lái)提取圖像的局部特征，并通過(guò)全連接層和輸出層來(lái)實(shí)現(xiàn)分類或回歸任務(wù)。CNN 已經(jīng)在各種應(yīng)用領(lǐng)域取得了顯著的成功，是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要工具之一。