散文網(wǎng) » 科技 »學(xué)習(xí) » 4.2 神經(jīng)網(wǎng)絡(luò)基本原理

4.2 神經(jīng)網(wǎng)絡(luò)基本原理

2023-02-02 10:49 作者:梗直哥丶 0人讀過 | 我要投稿

上節(jié)我們從機(jī)器學(xué)習(xí)中最簡單最基礎(chǔ)的線性模型開始講起，介紹了什么是機(jī)器學(xué)習(xí)的算法，怎樣用PyTorch代碼實(shí)現(xiàn)。別看它簡單，但這種思想?yún)s是很多其他算法的基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)就是其中之一。簡單地說，神經(jīng)網(wǎng)絡(luò)就是很多個(gè)線性模型的組合。我們這節(jié)課就來看看它的組成和內(nèi)部工作原理。

神經(jīng)網(wǎng)絡(luò)（Neural Network）是一種模擬人腦神經(jīng)系統(tǒng)功能的計(jì)算模型。它由多個(gè)節(jié)點(diǎn)組成，節(jié)點(diǎn)之間通過權(quán)重相連，這些節(jié)點(diǎn)構(gòu)成了多個(gè)層，每一層節(jié)點(diǎn)的輸入和輸出都是上一層節(jié)點(diǎn)的輸出，最終輸出層的輸出即為神經(jīng)網(wǎng)絡(luò)的結(jié)果。

神經(jīng)網(wǎng)絡(luò)與人腦的神經(jīng)系統(tǒng)的結(jié)構(gòu)非常相似。神經(jīng)元是人腦中最小的功能單位，它可以接收、處理和輸出信息，是人腦中信息傳遞的基本單位。神經(jīng)元由兩個(gè)部分組成：輸入端和輸出端。輸入端接收來自其他神經(jīng)元的輸入信息，輸出端向其他神經(jīng)元輸出信息。神經(jīng)元之間的連接叫做突觸（Synapse），突觸的權(quán)重決定了輸入信息對輸出信息的影響程度。

4.2.1 從線性模型到神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層三部分組成。輸入層是接收輸入信息的層，隱藏層是對輸入信息進(jìn)行處理的層，輸出層是輸出結(jié)果的層。

輸入層的節(jié)點(diǎn)數(shù)量等于輸入信息的維度，輸出層的節(jié)點(diǎn)數(shù)量等于輸出信息的維度。隱藏層的節(jié)點(diǎn)數(shù)量是由設(shè)計(jì)者決定的，一般來說，隱藏層節(jié)點(diǎn)數(shù)量越多，神經(jīng)網(wǎng)絡(luò)的表示能力就越強(qiáng)。但同時(shí)也要注意，隱藏層節(jié)點(diǎn)數(shù)量過多會(huì)導(dǎo)致訓(xùn)練時(shí)間增加，同時(shí)也容易導(dǎo)致過擬合。

工作過程是這樣的：首先，將輸入信息送入輸入層，然后按照輸入層與隱藏層之間的連接權(quán)重，將輸入信息傳遞到隱藏層。隱藏層的節(jié)點(diǎn)會(huì)對輸入信息進(jìn)行加權(quán)求和，然后再通過一個(gè)非線性激活函數(shù)進(jìn)行轉(zhuǎn)換，最后將處理后的信息輸出到下一層。這個(gè)過程重復(fù)進(jìn)行直到最后一層，最后一層的輸出即為神經(jīng)網(wǎng)絡(luò)的最終輸出。

網(wǎng)絡(luò)的結(jié)構(gòu)是靜態(tài)的，但是它的權(quán)重是動(dòng)態(tài)的。通過訓(xùn)練，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)輸入數(shù)據(jù)的內(nèi)在規(guī)律，并通過調(diào)整權(quán)重來改進(jìn)對輸入數(shù)據(jù)的預(yù)測能力。訓(xùn)練過程通常使用反向傳播算法（Backpropagation）來實(shí)現(xiàn)。這種方法常用于調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)重，使得預(yù)測的輸出與實(shí)際的輸出盡可能接近。

神經(jīng)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都是一個(gè)線性模型，它將輸入數(shù)據(jù)乘以權(quán)重，然后通過一個(gè)非線性激活函數(shù)進(jìn)行轉(zhuǎn)換，最后輸出一個(gè)值。這樣，多個(gè)線性模型就組合起來，通過調(diào)整每個(gè)節(jié)點(diǎn)的權(quán)重和非線性激活函數(shù)，可以學(xué)習(xí)輸入數(shù)據(jù)的復(fù)雜關(guān)系。

神經(jīng)網(wǎng)絡(luò)的基本計(jì)算公式如下：

從上面的公式可以看出，神經(jīng)網(wǎng)絡(luò)中的每一層都是一個(gè)線性模型，只是在輸出之前經(jīng)過了一個(gè)非線性激活函數(shù)的轉(zhuǎn)換。因此，神經(jīng)網(wǎng)絡(luò)可以看作是由多個(gè)線性模型組合起來的。這也是為什么我們在上節(jié)的例子中直接使用了pytorch中全連接層nn.Linear也能解決線性回歸問題的原因，本質(zhì)上它們是一回事兒。

通過組合多個(gè)線性模型，神經(jīng)網(wǎng)絡(luò)可以模擬人腦的行為，實(shí)現(xiàn)更復(fù)雜的模式識(shí)別和決策過程。

神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)是神經(jīng)網(wǎng)絡(luò)的重要組成部分，它的作用是在輸入數(shù)據(jù)的基礎(chǔ)上進(jìn)行非線性轉(zhuǎn)換，從而使得神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的表示能力。常用的非線性激活函數(shù)包括 Sigmoid 函數(shù)、Tanh 函數(shù)、ReLU 函數(shù)和 Leaky ReLU 函數(shù)等。這些先了解就行，我們在后續(xù)的課程中還會(huì)詳細(xì)介紹。

4.2.2 神經(jīng)網(wǎng)絡(luò)和生物學(xué)

神經(jīng)網(wǎng)絡(luò)模型在發(fā)展的過程中受到了生物學(xué)中神經(jīng)系統(tǒng)的啟發(fā)，因此，可以說神經(jīng)網(wǎng)絡(luò)與生物學(xué)之間有著密切的聯(lián)系。

首先，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)受到了生物學(xué)中神經(jīng)元的啟發(fā)。我們剛剛介紹了，在生物學(xué)中，神經(jīng)元是人腦中最基本的組成單位，它們通過突觸連接，形成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)的模型中，也使用了類似的結(jié)構(gòu)，將輸入數(shù)據(jù)通過權(quán)重和偏置進(jìn)行線性轉(zhuǎn)換，再經(jīng)過非線性激活函數(shù)進(jìn)行轉(zhuǎn)換，最后輸出到下一層。這種結(jié)構(gòu)可以很好地模擬生物學(xué)中神經(jīng)元的行為。

其次，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也受到了生物學(xué)中神經(jīng)元的啟發(fā)。在生物學(xué)中，神經(jīng)元的輸入和輸出之間的權(quán)重是可以變化的，當(dāng)神經(jīng)元收到足夠強(qiáng)的輸入信號(hào)時(shí)，它的輸出信號(hào)也會(huì)變強(qiáng)。這種機(jī)制類似于神經(jīng)網(wǎng)絡(luò)的權(quán)重調(diào)整過程。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，通過反向傳播算法，調(diào)整神經(jīng)網(wǎng)絡(luò)中各層的權(quán)重，使得輸出結(jié)果與預(yù)期結(jié)果更加接近。這種機(jī)制可以很好地模擬生物學(xué)中神經(jīng)元的調(diào)整過程。

第三，深度學(xué)習(xí)的發(fā)展過程中，越來越多的研究者尋求生物學(xué)理論的啟發(fā)。比如更簡潔高效的網(wǎng)絡(luò)結(jié)構(gòu)，像循環(huán)神經(jīng)網(wǎng)絡(luò)、殘差神經(jīng)網(wǎng)絡(luò)等復(fù)雜的模型在研究過程中都或多或少的收到了生物學(xué)方面的啟發(fā)。最新的前向前向傳播網(wǎng)絡(luò)等更伴隨著對大腦運(yùn)行機(jī)制的深刻思考。

此外，神經(jīng)網(wǎng)絡(luò)還可以應(yīng)用于生物學(xué)領(lǐng)域，用于對生物學(xué)問題進(jìn)行模擬和預(yù)測。例如，神經(jīng)網(wǎng)絡(luò)可以用于預(yù)測蛋白質(zhì)的折疊模式，或者用于預(yù)測分子間的相互作用。這些應(yīng)用都是基于神經(jīng)網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力，通過輸入相應(yīng)的數(shù)據(jù)和調(diào)整參數(shù)，可以得到較為準(zhǔn)確的預(yù)測結(jié)果。

總的來說，神經(jīng)網(wǎng)絡(luò)與生物學(xué)之間有著密切的聯(lián)系，兩個(gè)學(xué)科看似相隔十萬八千里，八竿子打不著，但實(shí)際上兩個(gè)領(lǐng)域的科學(xué)家神交已久。其實(shí)都是在研究人的大腦思維結(jié)構(gòu)和過程。只不過一個(gè)是從生理結(jié)構(gòu)上著手，另一個(gè)試圖用數(shù)學(xué)尤其是統(tǒng)計(jì)科學(xué)建模，然后用計(jì)算機(jī)編程模擬罷了。在學(xué)習(xí)深度學(xué)習(xí)課程的過程中，多了解一些生物學(xué)知識(shí)，尤其是腦科學(xué)方面的最新進(jìn)展，對于深度學(xué)習(xí)模型的研究和深入思考無疑會(huì)起到四兩撥千斤的作用。