網(wǎng)絡(luò)化模型是指在機器學習中，使用多個模型來完成一個任務(wù)，這些模型之間通過網(wǎng)絡(luò)連接起來，形成一個整體。這種方法可以提高模型的準確性和效率。例如，深度神經(jīng)網(wǎng)絡(luò)就是一種網(wǎng)絡(luò)化模型，它由多個神經(jīng)元組成，每個神經(jīng)元都與其他神經(jīng)元相連。這種模型可以用于圖像識別、語音識別、自然語言處理等領(lǐng)域。除了深度神經(jīng)網(wǎng)絡(luò)，還有很多其他的網(wǎng)絡(luò)化模型，例如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等等。這些模型都有各自的優(yōu)點和缺點，需要根據(jù)具體的任務(wù)來選擇合適的模型。

從生理結(jié)構(gòu)上，人工神經(jīng)元模擬生物神經(jīng)元的功能

核心功能是從輸入導出輸出。

【前饋神經(jīng)網(wǎng)絡(luò)FNN】

前饋神經(jīng)網(wǎng)絡(luò)是一種最簡單的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，各神經(jīng)元分層排列，每個神經(jīng)元只與前一層的神經(jīng)元相連。接收前一層的輸出，并輸出給下一層，各層間沒有反饋。是應用最廣泛、發(fā)展最迅速的人工神經(jīng)網(wǎng)絡(luò)之一。前饋神經(jīng)網(wǎng)絡(luò)也稱為 FNN (Feedforward Neural Network)。在前饋神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元分別屬于不同的層，每一層的神經(jīng)元可以接收前一層神經(jīng)元的信號，并產(chǎn)生信號輸出到下一層。第0層稱為輸入層，最后一層稱為輸出層，其他中間層稱為隱藏層。整個網(wǎng)絡(luò)中無反饋，信號從輸入層向輸出層單向傳播，可用一個有向無環(huán)圖表示。前饋神經(jīng)網(wǎng)絡(luò)可以用于分類、回歸等任務(wù)。

【循環(huán)神經(jīng)網(wǎng)絡(luò)RNN】

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）是一類以序列（sequence）數(shù)據(jù)為輸入，在序列的演進方向進行遞歸（recursion）且所有節(jié)點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。它的主要特點是在網(wǎng)絡(luò)內(nèi)部引入循環(huán)結(jié)構(gòu)，可以對序列數(shù)據(jù)中的時間依賴關(guān)系進行建模。RNN 的主要應用領(lǐng)域是自然語言處理、語音識別、時間序列預測、機器翻譯等。

【反向誤差傳播BP】

反向誤差傳播（Backpropagation，BP）是一種與最優(yōu)化方法（如梯度下降法）結(jié)合使用的，用來訓練人工神經(jīng)網(wǎng)絡(luò)的常見方法。該方法對網(wǎng)絡(luò)中所有權(quán)重計算損失函數(shù)的梯度。反向傳播算法是一種在人工神經(jīng)網(wǎng)絡(luò)中用來訓練多層感知器的常見方法，它是誤差反向傳播算法的簡稱。該算法通過將輸出誤差反向傳播，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權(quán)值。

【反向傳播算法的步驟】

1. 前向傳播：計算網(wǎng)絡(luò)的輸出值。

2. 計算誤差：計算輸出值與真實值之間的誤差。

3. 反向傳播誤差：將誤差從輸出層向輸入層傳播，計算每個神經(jīng)元的誤差貢獻。

4. 計算梯度：計算每個神經(jīng)元的梯度，即誤差對權(quán)重的導數(shù)。

5. 更新權(quán)重：使用梯度下降法更新權(quán)重，使誤差最小化。

這些步驟中，前向傳播和計算誤差是比較簡單的，反向傳播誤差和計算梯度是比較復雜的。反向傳播算法通過將誤差從輸出層向輸入層反向傳播，計算每個神經(jīng)元的誤差貢獻，進而修正各單元的權(quán)值。

隨機梯度下降（Stochastic Gradient Descent，SGD）是一種常用的優(yōu)化算法，其步驟如下：

1. 隨機選擇一個樣本。

2. 計算該樣本的梯度。

3. 更新模型參數(shù)。

4. 重復步驟1-3，直到滿足停止條件。

隨機梯度下降算法的主要作用是優(yōu)化模型參數(shù)，使得模型在訓練數(shù)據(jù)上的損失函數(shù)最小化。相比于批量梯度下降算法，隨機梯度下降算法具有更快的收斂速度和更低的計算復雜度。但是，由于隨機梯度下降算法只使用一個樣本來更新模型參數(shù)，因此其更新方向具有一定的隨機性，可能會導致收斂到局部最優(yōu)解而不是全局最優(yōu)解。

以中間隱藏層的數(shù)量（>2層）來分類淺層與深層的神經(jīng)網(wǎng)絡(luò)

從生物學角度，信息的加工本身就是多層次的，不同的器官承擔不同的信息加工功能。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，是深度學習的代表算法之一。它是一種包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，常用來分析視覺圖像。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重共享的網(wǎng)絡(luò)結(jié)構(gòu)顯著降低了模型的復雜度，減少了權(quán)值的數(shù)量。它具有一種所謂的人工神經(jīng)元，能夠在一定的范圍之內(nèi)和其他的單元進行相應，從而很好地處理圖像，尤其是大型圖像。

類似于一種降維的策略

生成對抗網(wǎng)絡(luò)（GAN）是一種非監(jiān)督式學習的方法，透過兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進行學習。GAN由兩個重要的部分構(gòu)成：生成器和判別器。生成器通過機器生成數(shù)據(jù)（大部分情況下是圖像），目的是“騙過”判別器；判別器判斷這張圖像是真實的還是機器生成的，目的是找出生成器做的“假數(shù)據(jù)”。

GAN的優(yōu)點是可以生成高質(zhì)量的數(shù)據(jù)，而且不需要標注數(shù)據(jù)，因此可以用于無監(jiān)督學習。此外，GAN還可以用于圖像修復、圖像超分辨率、圖像風格轉(zhuǎn)換等任務(wù)。GAN的缺點是訓練過程不穩(wěn)定，容易出現(xiàn)模式崩潰和模式崩潰問題，而且生成的數(shù)據(jù)可能會出現(xiàn)一些不合理的情況。

歷時一個月，終于學完了這門課程。

感覺說的還挺詳細，而且也沒有太多的代碼計算量，小白也看得懂，很不錯的一套入門基礎(chǔ)課程。