簡(jiǎn)介

本文將要討論這一課題的主要概念，諸如深度學(xué)習(xí)以及無復(fù)雜layman形式運(yùn)算的深度網(wǎng)絡(luò)。

真實(shí)數(shù)據(jù)的實(shí)驗(yàn)，通過定量和比較（無法定量和比較），證實(shí)（或證偽）深度神經(jīng)網(wǎng)絡(luò)的理論優(yōu)勢(shì)。當(dāng)前的任務(wù)是分類。赫茲量化要基于深度神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建一個(gè)指標(biāo)和一個(gè)EA，根據(jù)客戶端/服務(wù)器的方式進(jìn)行運(yùn)作，并對(duì)它們進(jìn)行測(cè)試。

本文的讀者應(yīng)該對(duì)神經(jīng)網(wǎng)絡(luò)中使用的基本概念已有一定程度的了解。

編輯切換為居中

1. 第二代神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)用于解決圖像處理領(lǐng)域的廣泛?jiǎn)栴}。

下面是典型的神經(jīng)網(wǎng)絡(luò)能夠解決的問題列表：

• 函數(shù)逼近的一組點(diǎn)（回歸）；

• 根據(jù)指定類集進(jìn)行數(shù)據(jù)分類；

• 識(shí)別預(yù)先未知的原型類的數(shù)據(jù)聚類；

• 信息壓縮；

• 恢復(fù)丟失的數(shù)據(jù)；

• 聯(lián)想記憶；

• 優(yōu)化，最優(yōu)控制等。

不在上述列表中的本文僅將討論“分類”。

1.1. 連結(jié)的體系結(jié)構(gòu)

赫茲量化信息處理的方式很大程度上受到網(wǎng)絡(luò)中反饋回路的有誤。如果神經(jīng)元之間沒有反饋鏈路（例如，該網(wǎng)絡(luò)具有一個(gè)順序?qū)蛹?jí)結(jié)構(gòu)，每個(gè)神經(jīng)元只接收來自前一層的信息），網(wǎng)絡(luò)中的信息處理是單向的。一個(gè)輸入信號(hào)經(jīng)由一系列神經(jīng)網(wǎng)絡(luò)層處理，并被同層級(jí)數(shù)量相等的觸點(diǎn)所接收。

反饋回路的存在會(huì)使得神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)（此處稱為循環(huán)）不可預(yù)測(cè)。事實(shí)上，網(wǎng)絡(luò)可能“死循環(huán)”并且永遠(yuǎn)無法給出響應(yīng)。與此同時(shí)，根據(jù)圖靈的結(jié)論，對(duì)于任意循環(huán)網(wǎng)絡(luò)沒有算法能夠確定它的元素是否會(huì)進(jìn)入平衡狀態(tài)（停機(jī)問題）。

一般來說，基于在循環(huán)網(wǎng)絡(luò)中的神經(jīng)元參與處理信息許多次的事實(shí)，允許這類網(wǎng)絡(luò)以不同的方式在更深的層級(jí)上進(jìn)行信息處理。在這種情況下，需要采用特殊的措施以免網(wǎng)絡(luò)陷入死循環(huán)。例如，使用對(duì)稱節(jié)點(diǎn)，像Hopfield網(wǎng)絡(luò)或者強(qiáng)制限制迭代的次數(shù)。

訓(xùn)練類型節(jié)點(diǎn)類型

有“監(jiān)督的”

無“監(jiān)督的”

無反饋環(huán)

多層傳感器（函數(shù)逼近，分類）

競(jìng)爭(zhēng)性網(wǎng)絡(luò)，自組織圖（數(shù)據(jù)壓縮，特征分離）

有反饋環(huán)

循環(huán)傳感器（時(shí)間序列預(yù)測(cè)，在線訓(xùn)練）

Hopfield網(wǎng)絡(luò)（相聯(lián)存貯器，數(shù)據(jù)聚類，優(yōu)化）

表 1. 按連接和培訓(xùn)類型分類的神經(jīng)網(wǎng)絡(luò)

1.2. 神經(jīng)網(wǎng)絡(luò)的主要類型

從神經(jīng)元開始，神經(jīng)網(wǎng)絡(luò)走過了很長(zhǎng)的發(fā)展道路。今天大量不同的結(jié)構(gòu)和訓(xùn)練模式的神經(jīng)網(wǎng)絡(luò)被使用。

最著名的有：

1.2.1. 多層全連接的前饋網(wǎng)絡(luò)MLP（多層感知器）

編輯

圖 1. 多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2. Jordan網(wǎng)絡(luò)是典型的循環(huán)網(wǎng)絡(luò)并且和Elman網(wǎng)絡(luò)類似。

它可以被看成是在輸入層帶有額外承接層神經(jīng)元的反饋網(wǎng)絡(luò)。

這些承接層神經(jīng)元從輸入層神經(jīng)元中自反饋（直接反饋）。承接層神經(jīng)元保存網(wǎng)絡(luò)的當(dāng)前狀態(tài)。再Jordan網(wǎng)絡(luò)中，承接層神經(jīng)元的數(shù)量和輸入層神經(jīng)元的數(shù)量必須一致。

編輯切換為居中

圖 2. Jordan網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3. Elman網(wǎng)絡(luò)是典型的循環(huán)網(wǎng)絡(luò)并且和Jordan網(wǎng)絡(luò)類似。Elman和Jordan網(wǎng)絡(luò)的區(qū)別在于在Elman網(wǎng)絡(luò)中承接層神經(jīng)元的輸入由輸出神經(jīng)元而不是隱含神經(jīng)元決定。另外，在承接層神經(jīng)元中無直接反饋。

在一個(gè)Elman網(wǎng)絡(luò)中，承接和隱含神經(jīng)元的數(shù)量必須一致。Elman網(wǎng)絡(luò)的主要優(yōu)點(diǎn)在于承接層的神經(jīng)元數(shù)量不像Jordan網(wǎng)絡(luò)那樣由輸出層決定，而是由隱含層神經(jīng)元的數(shù)量決定的，這就使得網(wǎng)絡(luò)更具彈性。隱含神經(jīng)元不像輸出神經(jīng)元那樣，它們能夠方便的被添加或者移除。

編輯切換為居中

圖 3. Elman網(wǎng)絡(luò)結(jié)構(gòu)

1.2.4. 徑向基函數(shù)網(wǎng)絡(luò)（RBF）- 是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，赫茲量化包含徑向?qū)ΨQ神經(jīng)元的一個(gè)中間（隱藏）層。這樣的神經(jīng)元通過某些非線性Gaussian算法將其同特定輸入向量間的距離轉(zhuǎn)換為中心距。

RBF網(wǎng)絡(luò)相比多層前饋網(wǎng)絡(luò)而言有很多優(yōu)點(diǎn)。首先，它們模仿（不確定這個(gè)詞是否恰當(dāng)）僅有一個(gè)中間層的任意一個(gè)非線性函數(shù)，省得開發(fā)者決定層數(shù)。然后，輸出層線性組合參數(shù)就能夠使用眾多廣為人知的線性優(yōu)化算法來進(jìn)行優(yōu)化了。后者運(yùn)行很快并且沒有會(huì)極大干擾反向傳播的本地極小值。這也是為何當(dāng)使用反向傳播時(shí)RBF網(wǎng)絡(luò)的學(xué)習(xí)速度要塊很多的原因。

RBF的缺點(diǎn)：這些網(wǎng)絡(luò)具有弱外推特性并且當(dāng)輸入向量非常大時(shí)會(huì)變的低效。

編輯

圖 4. RBF的結(jié)構(gòu)

1.2.5. 動(dòng)態(tài)學(xué)習(xí)矢量量化，DLVQ 網(wǎng)絡(luò)同自組織圖（SOM）非常類似。不像SOM，DLVO能夠進(jìn)行有監(jiān)督的學(xué)習(xí)并且和原型之間沒有依賴關(guān)系。矢量量化比聚類的用途更為廣泛。

1.2.6. Hopfield網(wǎng)絡(luò)在執(zhí)行過程中，這種網(wǎng)絡(luò)動(dòng)態(tài)收斂到平衡狀態(tài)中的一種。這些平衡狀態(tài)是稱為網(wǎng)絡(luò)能量的本地功能極小值。這樣的網(wǎng)絡(luò)可以用作一個(gè)內(nèi)容尋址關(guān)聯(lián)存儲(chǔ)器系統(tǒng)、一個(gè)過濾器以及解決一些優(yōu)化問題。

和許多神經(jīng)網(wǎng)絡(luò)運(yùn)行直到接收到特定數(shù)量的反饋不同的是，Hopfield網(wǎng)絡(luò)運(yùn)行直到達(dá)到平衡狀態(tài)，即網(wǎng)絡(luò)的下一個(gè)狀態(tài)和前一個(gè)狀態(tài)完全一樣。在這種情況下初始狀態(tài)是一個(gè)輸入模式，在平衡狀態(tài)下接收輸出圖像。訓(xùn)練Hopfield網(wǎng)絡(luò)需要同時(shí)再輸入和輸出層給出訓(xùn)練模式。

編輯

圖. 5. 三個(gè)神經(jīng)元的Hopfield網(wǎng)絡(luò)結(jié)構(gòu)

盡管有吸引人的特性，經(jīng)典的Hopfield網(wǎng)絡(luò)還遠(yuǎn)遠(yuǎn)談不上完美。它內(nèi)存有限僅占網(wǎng)絡(luò)N中大約15%的神經(jīng)元，然而內(nèi)存直接尋址系統(tǒng)能夠使用N比特儲(chǔ)多達(dá)2N個(gè)不同的圖像。

另外，Hopfield網(wǎng)絡(luò)無法識(shí)別圖像，如果該圖像相對(duì)于它的初始儲(chǔ)存的位置被移位或轉(zhuǎn)動(dòng)。這樣或那樣的缺陷使得Hopfield網(wǎng)絡(luò)更多的用于理論模型研究而非日常實(shí)用的工具。

其他很多（Hemming循環(huán)網(wǎng)絡(luò)，Grossberg網(wǎng)絡(luò)，自適應(yīng)共振理論網(wǎng)絡(luò)(ART-1, ART-2)等）未在本文中提及，因?yàn)樗鼈兂^了赫茲量化的興趣范圍。

1.3. 訓(xùn)練方法

赫茲量化能夠?qū)W習(xí)新的事物是人類大腦主要的功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，學(xué)習(xí)是構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)（神經(jīng)元之間的連結(jié)結(jié)構(gòu)）以及觸突權(quán)重（信號(hào)的影響系數(shù)），以便能夠獲得解決實(shí)際問題的有效方法。通常在一個(gè)數(shù)據(jù)樣本上來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。訓(xùn)練是一個(gè)特定算法的執(zhí)行過程，隨著訓(xùn)練的進(jìn)行網(wǎng)絡(luò)對(duì)輸入信號(hào)的響應(yīng)結(jié)果應(yīng)該逐漸改善。

有三個(gè)主要的學(xué)習(xí)模式： 有監(jiān)督的， 無監(jiān)督的以及混合的。第一種情況下，每個(gè)輸入的正確結(jié)果都是已知的并且網(wǎng)絡(luò)權(quán)重用于最小化誤差。無監(jiān)督學(xué)習(xí)用于樣本分類，闡釋數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特性?；旌夏Ｊ较乱陨蟽煞N方式都使用。

1.3.1. 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的主要規(guī)則

與之相關(guān)的網(wǎng)絡(luò)構(gòu)建算法主要有四種：誤差糾正，Boltzmann法則，Hebb法則和競(jìng)爭(zhēng)性算法。

1.3.1.1. 誤差糾正

每一個(gè)輸入樣本都有一個(gè)特定的期望輸出值（目標(biāo)值），可能和實(shí)際（預(yù)測(cè)）值不符。誤差糾正學(xué)習(xí)算法用目標(biāo)和預(yù)測(cè)值之間的誤差作為權(quán)重調(diào)整的直接依據(jù)來縮小誤差。只有當(dāng)出現(xiàn)誤差時(shí)訓(xùn)練才被執(zhí)行。這種學(xué)習(xí)方法有許多優(yōu)化版本。

1.3.1.2. Boltzmann 規(guī)則

Boltzmann法則是一種混沌學(xué)習(xí)算法，它類比熱力學(xué)理論中的原則。它根據(jù)期望的概率分布來調(diào)整神經(jīng)元權(quán)重系數(shù)。Boltzmann學(xué)習(xí)算法可以被認(rèn)為是誤差糾正算法的一個(gè)特例，它的誤差是指兩個(gè)模型中狀態(tài)之間的相關(guān)性差異。