RNN==》一個不止擅長語言的網(wǎng)絡(luò)

RNN 一個高度重視序列信息的網(wǎng)絡(luò)

序列就是數(shù)據(jù)的前后關(guān)系

RNN的基礎(chǔ)結(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)

多了一個網(wǎng)絡(luò)狀態(tài)

用來記錄數(shù)據(jù)輸入時的網(wǎng)絡(luò)狀態(tài)

在下一次輸入數(shù)據(jù)時，網(wǎng)絡(luò)必須要考慮小盒子中保存的信息。

隨著數(shù)據(jù)的一次次輸入

存儲的信息也在不斷地更新

盒子中地信息被稱為隱狀態(tài)

But

數(shù)據(jù)輸入地越早

在隱狀態(tài)中占據(jù)地影響就越小

===》一個句子很長，RNN就會忘記開始時說了什么

RNN的改良版，LSTM長短時記憶模型