假設我們當前要做一個人工智能客服系統，那該系統就需要對用戶輸入的話語進行辨認，例如用戶輸入：
I want to arrive Taipei on November 2nd
那么該系統就能夠辨認出來Taipei是目的地，而后面是時間，那么我們可以用一個簡單的前向網路來實作這個事情，輸出為這個單詞屬于哪個含義的概率，但這會存在問題，例如輸入以下：
I want to leave Taipei on November 2nd
同樣輸入都是Taipei，但是第一個句子是作為目的地，第二個句子是作為出發地，那么普通的前向網路是無法對同一個輸出做出不同的輸出的，因此就希望此時使用的網路能夠具有一定的記憶性，即在看到Taipei之前因為已經讀入了前一個詞匯(arrive、leave)，那么就根據這前面的詞匯來進行輔助判斷，
RNN的結構特點
其主要的特點在于每個隱含層的輸出都會存放在一個另外的位置中(\(a_1,a_2\))，并且隱含層接受的輸入包括原本的輸入和當前存盤記憶中的值，假設權重都是1，那么該隱含層的輸入就是\(a_1+a_2+x_1+x_2\)，并且在第一次輸入的時候由于記憶中沒有值因此需要賦予初始值，
而這樣存在記憶的結構就使得RNN對于輸入的順序是敏感的，不同的輸入之間并不是獨立的，它們順序一旦變化就會引起輸出的大不相同，那么如果用RNN來處理之前的任務：
注意這里并不是用到了三個網路結構，而是同一個網路在不同的時間點被使用了三次，那么這就可能使得輸入同樣的詞匯結果輸出是不一樣的，因為前面的輸入也會影響該結果，
而RNN同樣也可以往deep發展：
RNN網路的變體
下面介紹RNN網路的變體：
Elman Network & Jordan Network
這兩種網路都是RNN的推廣，架構的主要區別在于：
- Elman Network每個隱含層的記憶中存盤的是該隱含層的輸出，跟RNN是一樣的
- Jordan Network中隱含層存盤的都是前一個輸入樣本的輸出\(y^{t-1}\)，這種網路架構具有更好的解釋性因為輸出我們知道它具有什么含義，而如果是隱含層的輸出我們很難明確其含義，也就很難明確網路學習到什么東西
Bidirectional RNN（雙向）
這個結構的特點在于對于網路的架構是雙向的，即正向是跟前面一樣，反向呢是從尾部不斷讀到頭部（因為順序不同輸出也就不相同），然后再把每個對應的輸出結合起來給輸出層作為輸入，即將正向的\(x^t\)的輸出和反向的\(x^t\)的輸出一起作為輸出層的輸入得到真正輸出\(y^t\)：
那么這就導致在在對每個輸入做判斷的時候，相當于綜合了前后的所有資訊來做判斷，
Long Short-term Memory(LSTM)
顧名思義，就是具有比較長期記憶能力的RNN網路，前面的RNN 網路都是只要有了新的輸入進來，記憶結點中就會被重寫，但LSTM不一樣，其主要特點的結構如下，其具有三個Gate
- Input Gata：輸入端的閘門，在每次有新的輸入進行神經網路后隱含層將會產生新的輸出，而這個新的輸出是否能夠寫入記憶結點中就取決于Input Gata，只有其是打開狀態才能進行寫入
- Ouput Gata：輸出端的閘門，只有當該閘門打開時，才能夠讀取其中的內容來作為隱含層的另一個輸入
- Forget Gata：該閘門控制什么時間點應該將當前記憶結點中的內容忘記掉
上面各個Gata的打開和關閉都是網路自己學習到的，因此每一個記憶結點就有四個輸入（輸入數值和三個控制信號）和一個輸出
下面來看其具體的運作行為：
- 輸出z經過激活函式g得到g(z)，然后Input Gata的輸出\(z_i\)經過激活函式(Gata的激活函式一般為sigmoid)得到\(f(z_i)\)
- 原來記憶單元中的值為c，而Forget Gate的輸出與c相乘，計算得到\(c`=g(z)f(z_i)+cf(z_f)\)，作為記憶單元中信的存盤值
- 記憶單元中的值經過h得到\(h(c`)\)，再與輸出單元的輸出相乘并進行輸出
為什么采用Sigmoid函式來作為Gate的激活函式呢？因為它的輸出在0到1之間，可以認為是該閘門打開的程度，而這里可以看出ForgetGate打開的時候（輸出為1）是對原來的值進行記憶的，只有關閉的時候才是對原來的值清零的，也可以看出輸出的值跟所有閘門的打開關閉是息息相關的，這邊所有Gate的輸入都是學習得到的，
上面所說的只是單個結點，整體的網路就相當于將神經元換成這整個記憶單元，如下圖：
因此認為神經元數目相同時，LSTM引數量是普通的四倍，而實際上LSTM并不會這么簡單：
可以認為x是乘以了四個矩陣（權重矩陣）得到了四個向量，這四個向量的長度和該層LSTM記憶單元的數目一樣，然后每一個作為LSTM的輸入，因此剛好就四個輸入，如上圖，因此如果多個串起來就是：
但實際上仍不是LSTM的完全體，完全體如下：
就是將上一層的輸出和記憶單元當前的值和這一層的輸入拼在一起作為輸入，再加上多層：
這就是LSTM的完全體了，
Loss Function
將輸出的詞性或者是標注作為目標向量，損失函式就是輸出向量與目標向量的距離，
學習演算法Backpropagation through time(BPTT)
跟之前的網路一樣，RNN對于網路引數的學習仍然是采用梯度下降的方式，而為了高效的計算梯度就有了BPTT這個演算法（課程沒有介紹這部分），
但是RNN的訓練并不容易：
這是因為它的損失函式非常地特殊：
這就導致損失函式計算梯度的時候經常跳動，總體損失也劇烈變化，而實際上做法可以將梯度設定一個閾值，超過則默認為閾值就可以了，不然可能會陡峭導致梯度無窮大，為什么會有上面這么陡峭的損失函式呢？來看下圖的結構：
在很小的區間內，權重非常微小的變化就會導致輸出劇烈的變化，因此很難通過學習率來應對，這主要是因為同一個引數在不同的時間點多次被使用所導致的，
而如果將RNN換成LSTM，它可以解決上述出現的梯度消失（Gradient vanishing）的問題，這可能會在面試中提及，
為什么LSTM可以解決梯度消失的問題
- RNN里面每一輪都會使得記憶結點中的值被清洗掉，而在LSTM中可以認為其記憶結點中的值是與輸入進行累加的，因此可以認為一旦權重變化會導致記憶結點中的值發生變化，這個變化就會一直存在（除非Forget Gate決定將其洗掉，這是很少數的情況），因此除非ForgetGate關閉，否則都不會有Gradient vanishing 的問題，RNN中由于每次都清洗，因為可以認為權重的變化而引起的最終結果的變化時劇烈的，而LSTM是在原來有的基礎上做變化，這就可以中和掉一些，
或者可以采用GRU，其只有兩個gate，更簡單但是表現也不差
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/540201.html
標籤：其他
上一篇：Docker的資源控制管理