<style></style> <style></style> <style></style> <style></style>
1 引言¶
在此前的多篇博客中，我花了很大的精力研究卷積神經網路相關內容，見證了卷積網路從最初的LeNet一步步發展到ResNet，在深度學習領域，卷積網路占據了半壁江山，例如在影像分類、目標檢測等應用中， 卷積神經網路所取得的成就遠不是其他演算法模型可以比擬的，然而，不得不承認，卷積神經網路說擅長的領域資料大多是靜態的，輸入資料間相互獨立，例如影像這種二維的資料，而對于語意識別，時間序列分析等應用，卷積神經網路就稍顯不足，這是因為語意識別、時間序列等等應用中，資料呈序列狀，前后輸入相互關聯，卷積神經網路在這些應用中難以兼顧資料間的關聯關系，導致性能變差，
幸運的是，在神經網路演算法家族中，也有一類演算法專門用于處理此類序列資料，那就是本篇的主角——回圈神經網路，回圈神經網路（Recurrent Neural Network，RNN）是一種別具一格的網路模型，其回圈元節點不僅可以接上來自上層的輸入資料，也可以接收自身上一次迭代的輸出，基于這種特殊的結構，回圈神經網路擁有了短期記憶能力，通過“記憶”保存了資料間的關聯關系，所以尤為適合處理語言、文本、視頻等時序相關的資料，接下來，我們來具體剖析回圈神經網路的特殊結構，
2 回圈神經網路¶
2.1 為什么需要RNN¶
在前面引言中對RNN誕生的意義說的不夠淺顯，這里舉個例子來說，語意識別，文本分類是回圈神經網路的重點應用領域，當然，并不是說其他的神經網路演算法在這些領域就毫無作用，只是效果較差而已，加入有下面一句話：
我是中國人，我會說 _
對于這句話，我想無論是一般的升級網路模型還是回圈神經網路模型，都一顆預測出，橫線上的內容應該是“漢語”，
繼續，我們把這句話說完整：
我是中國人，我會說漢語，但是我成年后移民到美國，所以我也會說_
在一般的神經網路模型中，會孤立地分析每一個詞，因為句子中同時出現了中國和美國，所以預測得到的詞是“漢語”和“英語”概率相仿，但是在回圈神經網路中，模型具有一定的短期記憶功能，能夠根據背景關系進行語意的預測，所以在較的位置上的“美國”一詞有著更大的影響，最終預測結果更有可能是“英語”，這就是為什么回圈神經網路在序列相關應用中表現優異的原因，
2.2 單向回圈神經網路結構¶
與前饋神經網路結構相比，回圈神經網路最大的不同在于其回圈神經網路輸出不僅能夠往下一層傳播，也能夠傳遞給同層下一時刻，也就是說，對于回圈網路中某一神經元節點，其內部運算資料不僅包含上一層的輸出，同時也包含同層上一時刻的輸出，如下圖所示：
上圖是一個簡化的回圈網路結構，只包含了一個隱藏層，圖中，$X$我們可以理解為一個完整的時間序列（例如一句語意完整的文本），$x_t$是指的$t$個時刻的測度（文本中的第$t$個詞的向量表示），$h_t$是第$t$個時刻的輸出，也就是$x_t$和上一時刻的輸出$h_t$在隱藏層中合并運算后的輸出，同時可以看到，輸出的$h_t$流向輸出層的同時，還有流向了延遲期，留待第$t+1$次與$x_{t+1}$共同參與隱藏層運算，對于上圖，按時間順序（在時間維度）上展開，如下圖所示：
注意，上圖是在時間維度上進行展開，也就是上圖三個部分其實是同一網路（而不是三個部分共同組成一個網路），而是在同一個網路在不同時間順序上的展開，我剛接觸回圈神經網路看到這個圖時，以為多個隱藏層是隱藏層的多個節點，$h$的值不過是在同層節點間進行傳遞，這是錯誤的，
圖中，$U$和$W$分別是$x$和$h$的權值，所以，在隱藏層節點內的運算可以如下表示：
$$h_t=f(U \times x_t + w \times h_{t-1} + b) \tag{1} $$
式中，$f$是激活函式，$b$是偏置，可見，在計算第$t$時刻輸出$h_t$時，上一時刻的輸出狀態$h_{t-1}$也參與了運算，對$h_{t-1}$也有：
$$h_{t-1}=f(U \times x_{t-1} + w \times h_{t-2} + b) \tag{2} $$
將（1）式和（2）式結合，也就有：
$$h_t=f(U \times x_t + w \times f(U \times x_{t-1} + w \times h_{t-2} + b) + b) \tag{3} $$
通過這種方式，第$t$時刻的輸出與之前時刻的輸出關聯起來，也就有了之前的“記憶”，
在我理解看來，回圈神經網路與卷積等前饋神經網路最大的不同就在于多了一個時間維度，這就要求回圈神經網路中的輸入是 有序的（順序對最終結果有影響），以對一個句子進行情感分類為例，假設這個句子有10個詞，每個詞表示為長度為100向量（假設為$X=[x_1,…,x_{10}]$），如果是在前饋神經網路，就回將[10 * 100]的向量$X=[x_1,…,x_{10}]$一次性傳遞給網路，而在回圈網路中，第一次是將第一個詞的對應的長度為100的向量傳遞給網路，經過第一個回圈時，神經元節點接收到兩個輸入，一個是詞向量$x_1$，另一個是初始狀態$h_0$（一般初始狀態為全為0的向量），運算后輸出為$h_1$，$h_1$輸出到下一層的同時，也就等待下一個$x_2$的輸入然后一同進行運算產生$h_2$……
有一點必須注意，在RNN回圈層中，同一層的引數$U$、$W$和$b$，甚至包括激活函式$f$，是在不同時刻是完全共享的，這種特性大大減少了回圈神經網路的引數量，其實在我理解看來，與其說引數共享，倒不如說不同時刻的資料使用的就是相同的神經元，
2.3 雙向回圈網路結構¶
在單向回圈網路中，輸出取決于當前的輸入和之前時刻的“記憶”，但在有些應用場景中，最終的決策不僅受之前的“記憶”的影響，還需要綜合考慮之后事件的發展，這就類似于做英文閱讀理解，最終的答案需要我們找準對應的句子（當前時刻的輸入$x_t$）還要綜合前文（$h_{t-1}$）和下文（$h_{t+1}$）進行作答，在回圈神經網路家族有，有一種雙向回圈網路結構（Bidirectional Recurrent Neural Network，Bi-RNN）就專用于此類場景，
雙向回圈神經網路每一層回圈運算可以拆分為兩層，這兩層網路都輸入序列$X$，但是資訊傳遞方向相反，如下圖所示：
圖中回圈運算公式如下：
第一行是順序運算，第二行是逆序運算，第三行是將兩種順序的輸出狀態進行組合，
3 TensorFlow2實作回圈神經網路¶
3.1 單層節點¶
In [1]:import tensorflow as tf
假設有4個句子，每個句子有80個詞匯，每個詞匯表示為一個100維向量（有4個時間序列資料，每個序列有80個時間測度，每個測度有100個屬性值），我們隨機初始化來模擬這種資料結構：
In [2]:x = tf.random.normal([4, 80, 100])
創建一個RNN神經元：
In [9]:cell = tf.keras.layers.SimpleRNNCell(64) # 64的意思是經過神經元后，維度轉化為64維，[b, 100] -> [b, 64]，b是句子數量
初始化最初時刻的狀態，因為有4個句子（4個batch），且輸出為64維，所以最初的狀態初始化為[4, 64]，值全為零的矩陣，
In [10]:ht0 = tf.zeros([4, 64]) # 因為In [6]:
xt0 = x[:, 0, :]In [18]:
out, ht1 = cell(xt0, [h0])
out是傳遞給下一層的值，ht1經過一次神經元后的轉臺，我們看看這兩者的狀態：
In [22]:out.shape, ht1[0].shapeOut[22]:
(TensorShape([4, 64]), TensorShape([4, 64]))
輸出為[4, 64]的矩陣，確實如我們上面所指定的一樣，繼續：
In [23]:id(out), id(ht1[0])Out[23]:
(140525368605520, 140525368605520)
可以看到，id是一樣的，也就是說，這兩者其實就是同一個物件，正如前文所說，RNN神經元有兩個相同的輸出，一個傳遞到下一層節點，也就是out，一個傳遞給下一時間節點回圈，也就是ht1[0]，
3.2 多層節點¶
同樣，我們先模擬構造一些資料
In [25]:x = tf.random.normal([4, 80, 100]) xt0 = x[:, 0, :]
創建多層節點：
In [26]:# 第一層節點 cell = tf.keras.layers.SimpleRNNCell(64) # 第二層節點 cell2 = tf.keras.layers.SimpleRNNCell(64)
因為有多個層了，每個層都必須有一個初始狀態，所以這里也必須創建多個初始狀態矩陣：
In [27]:state0 = [tf.zeros([4, 64])] state1 = [tf.zeros([4, 64])]
下面就可以進行資料在神經元間的傳遞了：
In [29]:out0, state0 = cell(xt0, state0) out1, state1 = cell2(out, state1)
在上述運算中，因為只有一次值傳遞運算，所以對于“回圈”表現的不明顯，在完整RNN網路中，上述運算將會放在一個回圈中，如下所示：
In [ ]:for word in tf.unstack(x, axis=1): out0, state0 = cell(xt0, state0) out1, state1 = cell2(out, state1)
第一層的cell每次運算都會對state0進行更新，然后通過state0記錄這一次狀態在下一次回圈，同時，通過out0將輸出值傳遞給下一層的cell2，
3.3 SimpleRNNCell實作完整RNN實作文本分類¶
In [30]:import os import tensorflow as tf import numpy as np from tensorflow import keras from tensorflow.keras import layersIn [33]:
tf.random.set_seed(22) np.random.seed(22) os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
加載資料，電影評價資料：
In [59]:total_words = 10000 # 常見詞匯數量 batchsz = 128 embedding_len = 100 (x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=total_words)In [60]:
max_review_len = 80 # 每個句子最大長度 x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=max_review_len) x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=max_review_len)In [61]:
db_train = tf.data.Dataset.from_tensor_slices((x_train, y_train)) db_train = db_train.shuffle(1000).batch(batchsz, drop_remainder=True) # drop_remainder是指最后一個batch不足128個則丟棄 db_test = tf.data.Dataset.from_tensor_slices((x_test, y_test)) db_test = db_test.batch(batchsz, drop_remainder=True)In [62]:
print('x_train shape:', x_train.shape, tf.reduce_max(y_train), tf.reduce_min(y_train)) print('x_test shape:', x_test.shape)
x_train shape: (25000, 80) tf.Tensor(1, shape=(), dtype=int64) tf.Tensor(0, shape=(), dtype=int64) x_test shape: (25000, 80)
接下來創建網路結構：
In [72]:class RNN(keras.Model): def __init__(self, units): super(RNN, self).__init__() # 創建初始狀態矩陣 self.state0 = [tf.zeros([batchsz, units])] self.state1 = [tf.zeros([batchsz, units])] # 對文本資料進行轉換為矩陣 # 每句80個單詞，每個單詞100維矩陣表示 [b, 80] --> [b, 80, 100] self.embedding = layers.Embedding(total_words, embedding_len, input_length=max_review_len) # 回圈網路層, 語意提取 # [b, 80, 100]--> [b, 64] self.rnn_cell0 = layers.SimpleRNNCell(units, dropout=0.2) # 第一層rnn self.rnn_cell1 = layers.SimpleRNNCell(units, dropout=0.2) # 第二層rnn # 全連接層 # [b, 64] --> [b, 1] self.outlayer = layers.Dense(1) def call(self, inputs, training=None): # [b, 80] x = inputs # embedding: [b, 80] -->[b, 80, 100] x = self.embedding(x) # rnn cell: [b, 80, 100] --> [b, 64] state0 = self.state0 state1 = self.state1 for word in tf.unstack(x, axis=1): # 在第二個維度展開，遍歷句子的每一個單詞 # out0, state0 = self.rnn_cell0(word, state0, training) out1, state1 = self.rnn_cell1(out0, state1, training) # out: [b, 64] x = self.outlayer(out1) prob = tf.sigmoid(x) return probIn [73]:
units = 64 epochs = 4 model = RNN(units) model.compile(optimizer=keras.optimizers.Adam(0.001), loss=tf.losses.BinaryCrossentropy(), metrics=['accuracy'], experimental_run_tf_function = False ) model.fit(db_train, epochs=epochs, validation_data=db_test)
Epoch 1/4 193/195 [============================>.] - ETA: 0s - loss: 0.5973 - accuracy: 0.5506Epoch 1/4 195/195 [==============================] - 3s 15ms/step - loss: 0.4002 - accuracy: 0.8220 195/195 [==============================] - 13s 65ms/step - loss: 0.5958 - accuracy: 0.5520 - val_loss: 0.4002 - val_accuracy: 0.8220 Epoch 2/4 193/195 [============================>.] - ETA: 0s - loss: 0.3326 - accuracy: 0.8490Epoch 1/4 195/195 [==============================] - 1s 7ms/step - loss: 0.4065 - accuracy: 0.8224 195/195 [==============================] - 5s 28ms/step - loss: 0.3315 - accuracy: 0.8492 - val_loss: 0.4065 - val_accuracy: 0.8224 Epoch 3/4 193/195 [============================>.] - ETA: 0s - loss: 0.1839 - accuracy: 0.9180Epoch 1/4 195/195 [==============================] - 1s 7ms/step - loss: 0.5103 - accuracy: 0.8193 195/195 [==============================] - 6s 28ms/step - loss: 0.1841 - accuracy: 0.9182 - val_loss: 0.5103 - val_accuracy: 0.8193 Epoch 4/4 193/195 [============================>.] - ETA: 0s - loss: 0.0960 - accuracy: 0.9574Epoch 1/4 195/195 [==============================] - 1s 7ms/step - loss: 0.6747 - accuracy: 0.8083 195/195 [==============================] - 5s 28ms/step - loss: 0.0958 - accuracy: 0.9575 - val_loss: 0.6747 - val_accuracy: 0.8083Out[73]:
<tensorflow.python.keras.callbacks.History at 0x7fce3bc7d390>
3.4 高層API實作RNN¶
資料加載和預處理還是使用上一章節的代碼，這里主要是使用TensorFlow中高層API
In [76]:model = keras.Sequential([ layers.Embedding(total_words, embedding_len, input_length=max_review_len), layers.SimpleRNN(units, dropout=0.2, return_sequences=True, unroll=True), layers.SimpleRNN(units, dropout=0.2, unroll=True), layers.Dense(1, activation='sigmoid') ]) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) history1 = model.fit(db_train, epochs=epochs, validation_data=db_test) loss, acc = model.evaluate(db_test) print('準確率:', acc) # 0.81039
Train for 195 steps, validate for 195 steps Epoch 1/4 195/195 [==============================] - 11s 54ms/step - loss: 0.6243 - accuracy: 0.6187 - val_loss: 0.4674 - val_accuracy: 0.7830 Epoch 2/4 195/195 [==============================] - 6s 29ms/step - loss: 0.3770 - accuracy: 0.8352 - val_loss: 0.4061 - val_accuracy: 0.8230 Epoch 3/4 195/195 [==============================] - 6s 29ms/step - loss: 0.2527 - accuracy: 0.9007 - val_loss: 0.4337 - val_accuracy: 0.8201 Epoch 4/4 195/195 [==============================] - 6s 29ms/step - loss: 0.1383 - accuracy: 0.9493 - val_loss: 0.5847 - val_accuracy: 0.8076 195/195 [==============================] - 1s 7ms/step - loss: 0.5847 - accuracy: 0.8076 準確率: 0.8075721
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/5344.html
標籤：其他
上一篇：人臉識別學習筆記二：進階篇