RNN與全連接神經(jīng)網(wǎng)絡(luò)的區(qū)別

全連接神經(jīng)網(wǎng)絡(luò)的最簡單的結(jié)構(gòu)

RNN最簡單的結(jié)構(gòu)

RNN 比全連接神經(jīng)網(wǎng)絡(luò)多了個參數(shù)h0

因此RNN的神經(jīng)元公式會比全連接神經(jīng)網(wǎng)絡(luò)的神經(jīng)元多一項（f為激勵函數(shù)）

訓練過程與全連接神經(jīng)網(wǎng)絡(luò)并無區(qū)別

梯度下降原則

RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢

模仿人類閱讀的順序去讀取文本或者別的序列化數(shù)據(jù)，且通過隱藏層神經(jīng)元的編碼，上一個隱藏層神經(jīng)元的信息可以傳遞到下一個隱藏層神經(jīng)元，因此形成一定的記憶能力，能夠更好地理解序列化數(shù)據(jù)

其他RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

輸入輸出不等長地多輸入多輸出地RNN結(jié)構(gòu)（Seq2Seq模型）

自編碼器，輸入等于輸出的神經(jīng)網(wǎng)絡(luò)模型

RNN和自編碼器的原理構(gòu)造一個翻譯機器人，同樣的，這個自編碼器（翻譯機器人）的輸入也等于輸出，只不過輸入與輸出用不同的語言去表達罷了。

解碼器decoder的輸入都是譯碼器encoder的同一個輸出，也就是說無論輸入的語句是什么，編碼器encoder都會將它轉(zhuǎn)換成同一個中間語義h

因為一句話是有重點的，所以注意力機制應(yīng)運而生

注意力機制下的seq2seq模型輸入變了

輸入不是直接的序列輸入，而是經(jīng)過編碼器encoder轉(zhuǎn)換的中間語義c，而這些輸入C也是各自不同的，每一個C都是又權(quán)重w和譯碼器的隱藏層輸出h加權(quán)組成

加入C1的重點在‘中’這個字，