一、緒論
1.回圈神經網路的應用
語音問答、機器翻譯、作詞機、作詩、模仿寫論文、模仿寫代碼、影像理解、視覺問答
二、基本組成結構
1.回圈神經網路的基本機構


2.深度RNN

3.雙向RNN

4.回圈神經網路基本結構小結
- 隱層狀態h可以被看作是“記憶”,因為它包含了之前時間點上的相關資訊,
- 輸出y不僅由當前的輸入所決定,還會考慮到之前的“記憶”,由兩者共同決定,
- RNN在不同時刻共享同一組引數(U,W,V),極大地減小了需要訓練和預估的引數量,
5.BP演算法

6.BPTT演算法



三、回圈神經網路的變種
1.傳統RNN的問題


2.LSTM
(1)LSTM(Long Short-term Memory 長短期記憶模型)





(2)傳統RNN VS LSTM


3.GRU(Gated Recurrent Unit 門控回圈單元)
因為LSTM有三個門,運算復雜,所以對它進行改進,從而產生了GRU,
(1)GRU與LSTM的異同

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/194812.html
標籤:其他
