27個深度學習中的神經網(wǎng)絡，這些神經網(wǎng)絡拓撲結構應用于不同的場合，達到不同的目的，今天主要介紹每個神經網(wǎng)絡的應用及其工作原理。

01?感知器（P）

感知器模型也稱為單層神經網(wǎng)絡，這個神經網(wǎng)絡只包含兩層：

• 輸入層

• 輸出層

在這種類型的神經網(wǎng)絡中，沒有隱藏層。它接受一個輸入并計算每個節(jié)點的加權輸入。之后，它使用激活函數(shù)（主要是sigmoid函數(shù)）進行分類。

應用：

• 分類

• 編碼數(shù)據(jù)庫（多層感知器）

• 監(jiān)控訪問數(shù)據(jù)（多層感知器）

02?前饋神經網(wǎng)絡（FF）

前饋神經網(wǎng)絡是一種人工神經網(wǎng)絡，其中節(jié)點不會形成循環(huán)。在這個神經網(wǎng)絡中，所有的感知器都是分層排列，輸入層接收輸入，輸出層產生輸出。

隱藏層與外部世界沒有聯(lián)系；這就是為什么它們被稱為隱藏層。在前饋神經網(wǎng)絡中，一層中的每個感知器都與下一層中的每個節(jié)點相連，因此，所有節(jié)點都是全連接的。另外需要注意的是，同一層中的節(jié)點之間沒有可見或不可見的連接。

前饋網(wǎng)絡中沒有回環(huán)，因此，為了最小化預測中的誤差，通常使用反向傳播算法來更新權重值。

應用：

• 數(shù)據(jù)壓縮

• 模式識別

• 計算機視覺

• 聲納目標識別

• 語音識別

• 手寫字符識別

03?徑向基函數(shù)網(wǎng)絡（RBN）

徑向基函數(shù)網(wǎng)絡通常用于函數(shù)逼近問題，它們具有更快的學習速度和通用逼近性，可區(qū)別于其他神經網(wǎng)絡。

徑向基網(wǎng)絡和前饋網(wǎng)絡之間的主要區(qū)別在于RBN使用徑向基函數(shù)作為激活函數(shù)。邏輯函數(shù)（sigmoid函數(shù)）給出0到1之間的輸出，以確定答案是肯定的還是否定的。

但是請注意，如果有連續(xù)值，則不能使用RBN。

RBIs決定生成的輸出與目標輸出的距離，這些在連續(xù)值的情況下非常有用?？傊?，RBIs表現(xiàn)是使用不同激活函數(shù)的FF網(wǎng)絡。

應用：

• 函數(shù)逼近

• 時間序列預測

• 分類

• 系統(tǒng)控制

04?深度前饋 (DFF)

深度前饋網(wǎng)絡是使用多個隱藏層的前饋網(wǎng)絡，僅使用一個隱藏層的主要問題是過度擬合，通過添加更多隱藏層，可以（并非在所有情況下）減少過度擬合并改進泛化能力。

應用

• 數(shù)據(jù)壓縮

• 模式識別

• 計算機視覺

• 心電圖噪聲過濾

• 財務預測

05?循環(huán)神經網(wǎng)絡（RNN）

循環(huán)神經網(wǎng)絡(RNN)是前饋(FF)網(wǎng)絡的變體，在這種類型中，隱藏層中的每個神經元都會接收具有特定時間延遲的輸入。在需要訪問當前迭代中的先前信息的時候使用這種類型的神經網(wǎng)絡。

例如，當我們試圖預測一個句子中的下一個單詞時，我們需要先知道之前使用過的單詞，RNN 可以處理輸入并跨時間共享任何長度和權重，模型大小不會隨著輸入的大小而增加，并且該模型中的計算考慮了歷史信息。

然而，這個神經網(wǎng)絡的問題是計算速度慢，還有，它不能考慮當前狀態(tài)的任何未來輸入，因為它無法記住很久以前的信息。

應用：

• 機器翻譯

• 機器人控制

• 時間序列預測

• 語音識別

• 語音合成

• 時間序列異常檢測

• 節(jié)奏學習

• 音樂創(chuàng)作

06?長/短期記憶網(wǎng)絡（LSTM）

LSTM網(wǎng)絡引入了一個記憶單元，可以處理具有內存缺口的數(shù)據(jù)。上面，我們可以注意到我們要考慮RNNs中的時間延遲，在使用RNN時有大量相關數(shù)據(jù)失敗時，還想從中找出相關數(shù)據(jù)，那么LSTMs是首要操作。與LSTM相比，RNN無法記住很久以前的數(shù)據(jù)。

應用：

• 語音識別

• 寫作識別

07?門控循環(huán)單元（GRU）

門控循環(huán)單元是LSTM的一種變體，二者都具有相似的設計，大多時候產生同樣好的結果。GRU只有三個門，它們不維護內部小組狀態(tài)。

A.更新門：確定將多少過去的知識傳遞給未來。

b.重置門：確定要忘記多少過去的知識。

C.當前記憶門：重置命運的子部分。

應用：

• 和弦音樂建模

• 語音信號建模

• 自然語言處理

08?自動編碼器（AE）

自編碼器神經網(wǎng)絡是一種無監(jiān)督的機器學習算法。在自動編碼器中，隱藏單元的數(shù)量小于輸入單元的數(shù)量；自編碼器中輸入單元的數(shù)量等于輸出單元的數(shù)量。

在AE網(wǎng)絡上，我們訓練它顯示與fed輸入一樣接近的輸出，迫使AEs找到共同的模式并概括數(shù)據(jù)。對于較小的輸入表示，可使用自動編碼器。我們可以從壓縮數(shù)據(jù)重建原始數(shù)據(jù)，該算法相對簡單，因為AE要求輸出與輸入相同。

• 編碼器：以較低維度轉換輸入數(shù)據(jù)。

• 解碼器：重建壓縮數(shù)據(jù)。

應用：

• 分類

• 聚類

• 特征壓縮

09?變分自編碼器（VAE）

變分自編碼器(VAE)使用概率方法來描述觀察結果，它顯示了特征集中每個屬性的概率分布。

應用：

• 在句子之間插入

• 自動圖像生成

10?去噪自編碼器（DAE）

在這個自動編碼器中，網(wǎng)絡不能簡單地將輸入復制到輸出，因為輸入還包含隨機噪聲。在 DAE上，我們創(chuàng)作它是為了減少噪音并生成有意義的數(shù)據(jù)。這種情況下，算法會強制隱藏層學習更強大的特征，使輸出是噪聲輸入的更精細版本。

應用：

• 特征提取

• 降維

11?稀疏自編碼器(SAE)

在稀疏自編碼器網(wǎng)絡上，通過懲罰隱藏層的激活來構造損失函數(shù)，這樣當將單個樣本輸入網(wǎng)絡時，只有少數(shù)節(jié)點被激活。

這種方法背后的原理是：

例如，如果一個人聲稱自己是A、B、C和D領域的專家，那么這個人可能更像是這些領域的全能人才。但是，如果此人僅聲稱致力于主題D，則會期望從此人對D主題的知識中獲得見解。

應用：

• 特征提取

• 手寫數(shù)字識別

12?馬爾可夫鏈（MC）

馬爾可夫鏈是一個數(shù)學系統(tǒng)，它根據(jù)一些概率規(guī)則，經歷從一種狀態(tài)到另一種狀態(tài)的轉換。轉換到任何特定狀態(tài)的概率僅取決于當前狀態(tài)和經過的時間。

例如，一些可能的狀態(tài)集可以是：

• 信件

• 數(shù)字

• 天氣狀況

• 棒球比分

• 股票表現(xiàn)

應用：

• 語音識別

• 信息和通信系統(tǒng)

• 排隊論

• 統(tǒng)計數(shù)據(jù)

13?HOPFIELD網(wǎng)絡（HN）

在Hopfield神經網(wǎng)絡中，每個神經元都與其他神經元直接相連。在這個網(wǎng)絡中，一個神經元要么是開要么是關。神經元的狀態(tài)可以通過接收來自其他神經元的輸入而改變。

我們通常使用Hopfield網(wǎng)絡(HN)來存儲模式和記憶。當在一組模式上訓練一個神經網(wǎng)絡時，即使模式有點失真或不完整，它也能識別出來。當向它提供不完整的輸入時，它可以識別出完整的模式，從而返回最佳猜測。

應用：

• 優(yōu)化問題

• 圖像檢測和識別

• 醫(yī)學圖像識別

• 增強X射線圖像

14?玻爾茲曼機網(wǎng)絡（BM）

Boltzmann機網(wǎng)絡涉及從原始數(shù)據(jù)集學習概率分布，并使用它來推斷未知數(shù)據(jù)。

在BMs中，有輸入節(jié)點和隱藏節(jié)點，在所有的隱藏節(jié)點改變狀態(tài)時，輸入節(jié)點就會轉變?yōu)檩敵龉?jié)點。

例如：

假設我們在核電站工作，安全必須是第一要務。我們的工作是確保動力裝置中的所有組件都可以安全使用，每個組件都有相關的狀態(tài)，為簡單起見使用布爾值，1 表示可用，0 表示不可用。但是，也會有一些組件我們無法定期測量狀態(tài)。此外，如果隱藏組件停止運行，我們沒有數(shù)據(jù)告訴我們發(fā)電廠何時會爆炸。

因此，在這種情況下，我們構建了一個模型，該模型會在組件更改其狀態(tài)時進行通知。因此，當它發(fā)生時，會接到通知檢查該組件并確保動力裝置的安全。

應用：

• 降維

• 分類

• 回歸

• 協(xié)同過濾

• 特征學習

15?受限玻爾茲曼機（RBM）

RBM是BM的變體。在這個模型中，輸入層和隱藏層的神經元之間存在對稱連接，但是他們每一層內部沒有內部連接。Boltzmann機在隱藏層有內部連接。BM中的這些限制允許對模型進行有效的訓練。

應用：

• 過濾

• 特征學習

• 分類

• 風險檢測

• 商業(yè)和經濟分析

16?深度信念網(wǎng)絡（DBN）

深度信念網(wǎng)絡包含許多隱藏層，可以使用無監(jiān)督算法調用DBNs，因為它第一次學習時沒有任何監(jiān)督。DBN中的層充當特征檢測器，在無監(jiān)督訓練之后，再用監(jiān)督方法訓練模型來執(zhí)行分類。

我們可以將DBN表示為受限玻爾茲曼機(RBM)和自動編碼器 (AE)的組合，最后dbn使用概率方法來處理結果。

應用：

• 檢索文件/圖像

• 非線性降維

17?深度卷積網(wǎng)絡（DCN）

卷積神經網(wǎng)絡是主要用于圖像分類、圖像聚類和對象識別的神經網(wǎng)絡。DNN支持無監(jiān)督構建分層圖像表示。DNN用于為其添加更復雜的特征，以便它能夠以更高的精度執(zhí)行任務。

應用：

• 識別面孔、路標、腫瘤

• 圖像識別

• 視頻分析

• 自然語言處理（NLP）

• 異常檢測

• 藥物發(fā)現(xiàn)

• 跳棋游戲

• 時間序列預測

18?反卷積神經網(wǎng)絡 (DN)

反卷積網(wǎng)絡是一種反向工作的卷積神經網(wǎng)絡(CNN)。盡管DN在工作性質上類似于CNN，但它在AI中的應用卻大不相同。

反卷積網(wǎng)絡有助于在以前認為有用的網(wǎng)絡中找到丟失的特征或信號。DN可能會因為與其他信號卷積而丟失信號。反卷積網(wǎng)絡可以獲取一個向量并制作出一張圖片。

應用：

• 圖像超分辨率

• 圖像的表面深度估計

• 光流估計

19?深度卷積逆圖形網(wǎng)絡（DC-IGN）

深度卷積逆圖形網(wǎng)絡(DC-IGN)旨在將圖形表示與圖像相關聯(lián)。它使用諸如照明、對象位置、紋理和圖像設計的其他方面的元素來進行非常復雜的圖像處理。

它使用不同層來處理輸入和輸出。深度卷積逆圖形網(wǎng)絡使用初始層通過各種卷積進行編碼，利用最大池化，然后使用后續(xù)層進行解碼。

應用：

• 人臉的處理

20?生成對抗網(wǎng)絡（GAN）

給定訓練數(shù)據(jù)，GANs學會生成與訓練具有相同統(tǒng)計數(shù)據(jù)的新數(shù)據(jù)。

例如，如果我們在照片上訓練我們的GAN模型，那么經過訓練的模型將能夠生成人眼看起來真實的新照片。GAN的目標是區(qū)分真實結果和合成結果，以便生成更真實的結果。

應用：

• 生成新的人體姿勢

• 照片到表情符號

• 面部老化

• 超分辨率

• 服裝翻譯

• 視頻預測

21?液體狀態(tài)機（LSM）

液態(tài)狀態(tài)機 (LSM)是一種特殊的神經網(wǎng)絡結構，LSM由大量神經元組成。在這里，每個節(jié)點接收來自外部源和其他節(jié)點的輸入，這些輸入可能隨時間而變化。

請注意，LSM上的節(jié)點相互隨機連接。在LSMs中，激活函數(shù)被閾值水平取代。只有當LSM達到閾值水平時，特定神經元才會發(fā)出輸出。

應用：

• 語音識別

• 計算機視覺

22?極限學習機（ELM）

對于更大規(guī)模的數(shù)據(jù)集傳統(tǒng)系統(tǒng)的主要缺點是：

基于梯度算法的學習速度慢。

迭代地調整所有參數(shù)。

ELM隨機選擇隱藏節(jié)點，然后分析確定輸出權重。因此，這些算法比一般的神經網(wǎng)絡算法工作得更快。此外，在極限學習機網(wǎng)絡上，隨機分配的權重通常不會更新，ELMs只需一步即可學習輸出權重。

應用：

• 分類

• 回歸

• 聚類

• 稀疏近似

• 特征學習

23?回聲狀態(tài)網(wǎng)絡（ESN）

回聲狀態(tài)網(wǎng)絡(ESN)是循環(huán)神經網(wǎng)絡的一個子類型，每個輸入節(jié)點接收一個非線性信號。在ESN中，隱藏節(jié)點是稀疏連接的，隱藏節(jié)點的連通性和權重是隨機分配的。在ESN上，最終輸出權重是可訓練的并且可以更新。

應用：

• 時間序列預測

• 數(shù)據(jù)挖掘

24?深度殘差網(wǎng)絡（DRN）

具有多層的深度神經網(wǎng)絡可能難以訓練，并且在訓練階段需要花費大量時間，也可能導致結果的退化。深度殘差網(wǎng)絡(DRN)可以防止結果退化，即使它們有很多層。有了DRNs，它的輸入的一些部分會傳遞到下一層。因此，這些網(wǎng)絡可能相當深（可能包含大約300層）。

應用：

• 圖像分類

• 對象檢測

• 語義分割

• 語音識別

• 語言識別

25?Kohonen網(wǎng)絡（KN）

Kohonen網(wǎng)絡是一種無監(jiān)督算法。Kohonen Network也稱為自組織圖，當數(shù)據(jù)分散在多個維度上，而我們又只希望它在一維或二維中時非常有用，可以看作是一種降維的方法。我們使用Kohonen網(wǎng)絡來可視化高維數(shù)據(jù)，它使用競爭學習而不是糾錯學習。

各種拓撲：

• 矩形網(wǎng)格拓撲

• 六邊形網(wǎng)格拓撲

應用：

• 降維

• 水質評估和預測

• 沿海水資源管理

26?支持向量機（SVM）

支持向量機神經網(wǎng)絡是支持向量機和神經網(wǎng)絡的混合算法。對于一組新的例子，它總是嘗試將它們分為兩類是或否（1或0）。SVM通常用于二元分類，這些通常不被視為神經網(wǎng)絡。

應用：

• 人臉檢測

• 文本分類

• 分類

• 生物信息學

• 手寫識別

27?神經圖靈機（NTM）

• 神經網(wǎng)絡控制器

• 記憶庫

在這個神經網(wǎng)絡中，控制器通過輸入和輸出向量與外部世界交互。還通過與存儲器矩陣交互來執(zhí)行選擇性讀取和寫入R/W操作。

據(jù)說圖靈機在計算上等同于現(xiàn)代計算機。因此，NTMs通過與外部存儲器交互來擴展標準神經網(wǎng)絡的功能。

應用：

• 機器人

• 構建一個人造人腦

參考文檔：

https://pub.towardsai.net/main-types-of-neural-networks-and-its-applications-tutorial-734480d7ec8e

碼字不易給學姐一個鼓勵的贊吧！