循環(huán)神經(jīng)網(wǎng)絡(luò)

Recurrent Neural Networks

RNN 可以通過不停的將信息循環(huán)操作，保證信息持續(xù)存在，從而解決上述問題。

A是一組神經(jīng)網(wǎng)絡(luò)（一個網(wǎng)絡(luò)的自循環(huán)），不停的接受xt,并且輸出ht。

LSTM網(wǎng)絡(luò)

特殊的RNN，解決了長依賴網(wǎng)絡(luò)的問題

理解LSTM

前面提到的LSTM由三個門來控制細胞狀態(tài)，這三個門分別稱為遺忘門、輸入門和輸出門，并通過傳輸帶來保持記憶。

傳輸帶

LSTMS的核心是細胞的水平線表示

細胞狀態(tài)像傳送帶一樣，貫穿整個細胞卻只有很少的分支，能夠保證信息不變的流過整個RNNs,

Ct長久的記憶

ht隱藏層的狀態(tài)

門：能夠刪除或者添加信息

就是一個sigmoid層和一個點乘操作的組合

a 就是忘掉或者增加的東西，經(jīng)過sigmoid的函數(shù)，轉(zhuǎn)化為0.1的數(shù)，之后選擇性的把c里面的忘掉

遺忘門

c是網(wǎng)絡(luò)層的長時間記憶

ft如何來的，wf是權(quán)值向量參數(shù)，之后點乘，上一網(wǎng)絡(luò)的狀態(tài)和輸入的狀態(tài)拼接，之后再經(jīng)過sigmoid得到ft

輸入門

i 決定我們要更新傳送帶的值

it和ct選擇性忘掉波浪的東西，添加新的東西

wi也是要根據(jù)梯度下降法學習的

c波浪t ：短時記憶

輸入值：傳入的值

Ct就可以更新了

忘掉f*上一層的向量

C波浪t 短時記憶，之后it輸入的作用

Ct是作為ht的，作為下一時刻的ct-1

輸出門：

三個sigmoid 兩個正切

行：h的維度

列：行的維度+輸入向量的維度

4個這樣的參數(shù)，所以要乘以4