1.1. 連結(jié)的體系結(jié)構(gòu)

信息處理的方式很大程度上受到網(wǎng)絡(luò)中反饋回路的有誤。如果神經(jīng)元之間沒有反饋鏈路（例如，該網(wǎng)絡(luò)具有一個順序?qū)蛹壗Y(jié)構(gòu)，每個神經(jīng)元只接收來自前一層的信息），網(wǎng)絡(luò)中的信息處理是單向的。一個輸入信號經(jīng)由一系列神經(jīng)網(wǎng)絡(luò)層處理，并被同層級數(shù)量相等的觸點(diǎn)所接收。

反饋回路的存在會使得神經(jīng)網(wǎng)絡(luò)的動態(tài)（此處稱為循環(huán)）不可預(yù)測。事實(shí)上，網(wǎng)絡(luò)可能“死循環(huán)”并且永遠(yuǎn)無法給出響應(yīng)。與此同時，根據(jù)圖靈的結(jié)論，對于任意循環(huán)網(wǎng)絡(luò)沒有算法能夠確定它的元素是否會進(jìn)入平衡狀態(tài)（停機(jī)問題）。

一般來說，基于在循環(huán)網(wǎng)絡(luò)中的神經(jīng)元參與處理信息許多次的事實(shí)，允許這類網(wǎng)絡(luò)以不同的方式在更深的層級上進(jìn)行信息處理。在這種情況下，需要采用特殊的措施以免網(wǎng)絡(luò)陷入死循環(huán)。例如，使用對稱節(jié)點(diǎn)，像Hopfield網(wǎng)絡(luò)或者強(qiáng)制限制迭代的次數(shù)。

訓(xùn)練類型節(jié)點(diǎn)類型

有“監(jiān)督的”

無“監(jiān)督的”

無反饋環(huán)

多層傳感器（函數(shù)逼近，分類）

競爭性網(wǎng)絡(luò)，自組織圖（數(shù)據(jù)壓縮，特征分離）

有反饋環(huán)

循環(huán)傳感器（時間序列預(yù)測，在線訓(xùn)練）

Hopfield網(wǎng)絡(luò)（相聯(lián)存貯器，數(shù)據(jù)聚類，優(yōu)化）

表 1. 按連接和培訓(xùn)類型分類的神經(jīng)網(wǎng)絡(luò)

1.2. 神經(jīng)網(wǎng)絡(luò)的主要類型

從神經(jīng)元開始，神經(jīng)網(wǎng)絡(luò)走過了很長的發(fā)展道路。今天大量不同的結(jié)構(gòu)和訓(xùn)練模式的神經(jīng)網(wǎng)絡(luò)被使用。

最著名的有：

1.2.1. 多層全連接的前饋網(wǎng)絡(luò)MLP（多層感知器）

編輯

圖 1. 多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2. Jordan網(wǎng)絡(luò)是典型的循環(huán)網(wǎng)絡(luò)并且和Elman網(wǎng)絡(luò)類似。

它可以被看成是在輸入層帶有額外承接層神經(jīng)元的反饋網(wǎng)絡(luò)。

這些承接層神經(jīng)元從輸入層神經(jīng)元中自反饋（直接反饋）。承接層神經(jīng)元保存網(wǎng)絡(luò)的當(dāng)前狀態(tài)。再Jordan網(wǎng)絡(luò)中，承接層神經(jīng)元的數(shù)量和輸入層神經(jīng)元的數(shù)量必須一致。

編輯切換為居中

圖 2. Jordan網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3. Elman網(wǎng)絡(luò)是典型的循環(huán)網(wǎng)絡(luò)并且和Jordan網(wǎng)絡(luò)類似。Elman和Jordan網(wǎng)絡(luò)的區(qū)別在于在Elman網(wǎng)絡(luò)中承接層神經(jīng)元的輸入由輸出神經(jīng)元而不是隱含神經(jīng)元決定。另外，在承接層神經(jīng)元中無直接反饋。

在一個Elman網(wǎng)絡(luò)中，承接和隱含神經(jīng)元的數(shù)量必須一致。Elman網(wǎng)絡(luò)的主要優(yōu)點(diǎn)在于承接層的神經(jīng)元數(shù)量不像Jordan網(wǎng)絡(luò)那樣由輸出層決定，而是由隱含層神經(jīng)元的數(shù)量決定的，這就使得網(wǎng)絡(luò)更具彈性。隱含神經(jīng)元不像輸出神經(jīng)元那樣，它們能夠方便的被添加或者移除。

編輯切換為居中

圖 3. Elman網(wǎng)絡(luò)結(jié)構(gòu)

1.2.4. 徑向基函數(shù)網(wǎng)絡(luò)（RBF）- 是一個前饋神經(jīng)網(wǎng)絡(luò)，包含徑向?qū)ΨQ神經(jīng)元的一個中間（隱藏）層。這樣的神經(jīng)元通過某些非線性Gaussian算法將其同特定輸入向量間的距離轉(zhuǎn)換為中心距。

RBF網(wǎng)絡(luò)相比多層前饋網(wǎng)絡(luò)而言有很多優(yōu)點(diǎn)。首先，它們模仿（不確定這個詞是否恰當(dāng)）僅有一個中間層的任意一個非線性函數(shù)，省得開發(fā)者決定層數(shù)。然后，輸出層線性組合參數(shù)就能夠使用眾多廣為人知的線性優(yōu)化算法來進(jìn)行優(yōu)化了。后者運(yùn)行很快并且沒有會極大干擾反向傳播的本地極小值。這也是為何當(dāng)使用反向傳播時RBF網(wǎng)絡(luò)的學(xué)習(xí)速度要塊很多的原因。

RBF的缺點(diǎn)：這些網(wǎng)絡(luò)具有弱外推特性并且當(dāng)輸入向量非常大時會變的低效。

編輯