<style></style> <style></style> <style></style> <style></style>
注：本系列所有博客將持續更新并發布在github上，您可以通過github下載本系列所有文章筆記檔案，
Keras是一個基于Python撰寫的高層神經網路API，憑借用戶友好性、模塊化以及易擴展等有點大受好評，考慮到Keras的優良特性以及它的受歡迎程度，TensorFlow2.0中將Keras的代碼吸收了進來，化身為tf.keras模塊供用戶使用，
使用tf.keras提供的高層API，可以輕松得完成建模三部曲——模型構建、訓練、評估等作業，下面我們分別來說說如何使用tf.keras完成這三部曲，
1 模型構建¶
我們知道，神經網路模型就是層的堆疊，tf.keras提供的Sequential類物件就是層容器，可以輕松實作對層的堆疊，創建網路模型，用Sequential創建一個全連接網路模型：
In [3]:import tensorflow as tf from tensorflow import keras # 為方便使用，keras一般單獨匯入 from tensorflow.keras import layersIn [2]:
model = tf.keras.Sequential() # 往模型中添加一個有64個神經元組成的層，激活函式為relu: model.add(layers.Dense(64, activation='relu')) # 再添加一個: model.add(layers.Dense(64, activation='relu')) # 添加一個有10個神經元的softmax層作為輸出層: model.add(layers.Dense(10, activation='softmax'))
也可以在使用Sequential實體化模型時，通過傳入由層組成的串列來添加層，我們換一種方式實作上面的模型構建程序,兩種方式是完全等效的：
In [6]:model = tf.keras.Sequential([ layers.Dense(64, activation='relu'), layers.Dense(64, activation='relu'), layers.Dense(10, activation='softmax')] )
你看，用tf.keras創建一個模型，就是這么簡單，只需要往Sequential中傳入一個個tf.keras.layers定義的層就好了，進一步的，我們研究一下tf.keras.layers怎么個性化地創建層，
定義神經網路層通過tf.keras.layers模塊中的Dense類實作，Dense類構造引數如下：
- units：指定神經元個數，必須是一個正整數，
- activation：激活函式，可以是可以是一個可呼叫物件或標識一個物件的字串
- use_bias：布爾型，是否使用是否使用偏置項
- kernel_initializer和bias_initializer：權值、偏置初始化方法,可以是一個可呼叫物件或標識一個物件的字串
- kernel_regularizer和bias_regularizer：對權值、偏置進行正則化的方法，可以是一個可呼叫物件或標識一個物件的字串
- activity_regularizer：對層的輸出進行正則化的方法，可以是一個可呼叫物件或標識一個物件的字串
- kernel_constraint和bias_constraint：對權值矩陣、偏置矩陣的約束方法，可以是一個可呼叫物件或標識一個物件的字串
# 有64個神經元，激活函式為sigmoid的層 layers.Dense(64, activation='sigmoid') # 或者: layers.Dense(64, activation=tf.keras.activations.sigmoid) # 對權值矩陣進行正則化: layers.Dense(64, kernel_regularizer=tf.keras.regularizers.l1(0.01)) # 對偏置向量進行正則化: layers.Dense(64, bias_regularizer=tf.keras.regularizers.l2(0.01)) # 指定權值隨機正交初始化: layers.Dense(64, kernel_initializer='orthogonal') # 指定偏置為常數: layers.Dense(64, bias_initializer=tf.keras.initializers.Constant(2.0))Out[6]:
<tensorflow.python.keras.layers.core.Dense at 0x7f486247abd0>
2 訓練模型¶
2.1 配置：compile()¶
建立好模型之后，接下來當然是要進行訓練模型了，不過，在訓練前還需要做一些配置作業，例如指定優化器、損失函式、評估指標等，這些配置引數的程序一般通過tf.keras.Model.compile方法進行，先來熟悉一下tf.keras.Model.compile方法的三個常用引數：
- optimizer：tf.keras.optimizers模塊中的優化器實體化物件，例如 tf.keras.optimizers.Adam或 tf.keras.optimizers.SGD的實體化物件，當然也可以使用字串來指代優化器，例如'adam'和'sgd'，
- loss：損失函式，例如交叉熵、均方差等，通常是tf.keras.losses模塊中定義的可呼叫物件，也可以用用于指代損失函式的字串，
- metrics：元素為評估方法的list，通常是定義在tf.keras.metrics模塊中定義的可呼叫物件，也可以用于指代評估方法的字串，
在知道怎么配置模型訓練引數后，就可以根據實際應用情況合理選擇優化器、損失函式、評估方法等：
In [7]:# 回歸模型 model.compile(optimizer=tf.keras.optimizers.Adam(0.01), # 指定優化器，學習率為0.01 loss='mse', # 指定均方差作為損失函式 metrics=['mae']) # 添加絕對值誤差作為評估方法 # 分類模型 model.compile(optimizer=tf.keras.optimizers.RMSprop(0.01), loss=tf.keras.losses.CategoricalCrossentropy(), # 分類模型多用交叉熵作為損失函式 metrics=[tf.keras.metrics.CategoricalAccuracy()])
通過compile()配置好模型后，就可以開始訓練了，tf.keras中提供了fit()方法對模型進行訓練，先來看看fit()方法的主要引數：
- x和y：訓練資料和目標資料
- epochs：訓練周期數，每一個周期都是對訓練資料集的一次完整迭代
- batch_size：簇的大小，一般在資料集是numpy陣列型別時使用
- validation_data：驗證資料集，模型訓練時，如果你想通過一個額外的驗證資料集來監測模型的性能變換，就可以通過這個引數傳入驗證資料集
- verbose：日志顯示方式，verbose=0為不在標準輸出流輸出日志資訊,verbose=1為輸出進度條記錄，verbose=2為每個epoch輸出一行記錄
- callbacks：回呼方法組成的串列，一般是定義在tf.keras.callbacks中的方法
- validation_split：從訓練資料集抽取部分資料作為驗證資料集的比例，是一個0到1之間的浮點數，這一引數在輸入資料為dataset物件、生成器、keras.utils.Sequence物件是無效，
- shuffle：是否在每一個周期開始前打亂資料
下面分別說說如何使用fit()方法結合numpy資料和tf.data.Dataset資料進行模型訓練，
In [8]:import numpy as np data = np.random.random((1000, 32)) labels = np.random.random((1000, 10)) model.fit(data, labels, epochs=10, batch_size=32)
Train on 1000 samples Epoch 1/10 1000/1000 [==============================] - 1s 554us/sample - loss: 206.2688 - categorical_accuracy: 0.1050 Epoch 2/10 1000/1000 [==============================] - 0s 34us/sample - loss: 911.8347 - categorical_accuracy: 0.0990 Epoch 3/10 1000/1000 [==============================] - 0s 30us/sample - loss: 1879.7505 - categorical_accuracy: 0.0980 Epoch 4/10 1000/1000 [==============================] - 0s 28us/sample - loss: 3141.3959 - categorical_accuracy: 0.0940 Epoch 5/10 1000/1000 [==============================] - 0s 36us/sample - loss: 4673.7791 - categorical_accuracy: 0.1010 Epoch 6/10 1000/1000 [==============================] - 0s 36us/sample - loss: 6526.8757 - categorical_accuracy: 0.0960 Epoch 7/10 1000/1000 [==============================] - 0s 31us/sample - loss: 8571.8533 - categorical_accuracy: 0.1020 Epoch 8/10 1000/1000 [==============================] - 0s 33us/sample - loss: 11070.1039 - categorical_accuracy: 0.0970 Epoch 9/10 1000/1000 [==============================] - 0s 36us/sample - loss: 13533.4661 - categorical_accuracy: 0.1050 Epoch 10/10 1000/1000 [==============================] - 0s 25us/sample - loss: 17259.2291 - categorical_accuracy: 0.1000Out[8]:
<tensorflow.python.keras.callbacks.History at 0x7f74a4755650>
如何使用驗證資料集的話，可以這樣：
In [10]:import numpy as np data = np.random.random((1000, 32)) labels = np.random.random((1000, 10)) val_data = np.random.random((100, 32)) val_labels = np.random.random((100, 10)) model.fit(data, labels, epochs=10, batch_size=32, validation_data=(val_data, val_labels)) # 驗證資料集以元組的形式傳入
Train on 1000 samples, validate on 100 samples Epoch 1/10 1000/1000 [==============================] - 0s 34us/sample - loss: 67219.8359 - categorical_accuracy: 0.0960 - val_loss: 55306.6777 - val_categorical_accuracy: 0.1000 Epoch 2/10 1000/1000 [==============================] - 0s 32us/sample - loss: 73732.5724 - categorical_accuracy: 0.0920 - val_loss: 89920.2088 - val_categorical_accuracy: 0.1100 Epoch 3/10 1000/1000 [==============================] - 0s 50us/sample - loss: 79956.1480 - categorical_accuracy: 0.1020 - val_loss: 101092.6750 - val_categorical_accuracy: 0.1000 Epoch 4/10 1000/1000 [==============================] - 0s 36us/sample - loss: 84322.9844 - categorical_accuracy: 0.0970 - val_loss: 117610.5700 - val_categorical_accuracy: 0.1000 Epoch 5/10 1000/1000 [==============================] - 0s 38us/sample - loss: 91992.0751 - categorical_accuracy: 0.1130 - val_loss: 94200.0838 - val_categorical_accuracy: 0.1000 Epoch 6/10 1000/1000 [==============================] - 0s 38us/sample - loss: 97189.2044 - categorical_accuracy: 0.0910 - val_loss: 89020.5294 - val_categorical_accuracy: 0.1100 Epoch 7/10 1000/1000 [==============================] - 0s 33us/sample - loss: 107109.9905 - categorical_accuracy: 0.0930 - val_loss: 102350.4259 - val_categorical_accuracy: 0.1200 Epoch 8/10 1000/1000 [==============================] - 0s 41us/sample - loss: 114450.2496 - categorical_accuracy: 0.1010 - val_loss: 102719.3653 - val_categorical_accuracy: 0.1100 Epoch 9/10 1000/1000 [==============================] - 0s 41us/sample - loss: 124694.8415 - categorical_accuracy: 0.0950 - val_loss: 142269.8362 - val_categorical_accuracy: 0.1100 Epoch 10/10 1000/1000 [==============================] - 0s 44us/sample - loss: 131952.7791 - categorical_accuracy: 0.0800 - val_loss: 158925.8294 - val_categorical_accuracy: 0.0900Out[10]:
<tensorflow.python.keras.callbacks.History at 0x7f749c548810>
3 評估與預測¶
是騾子是馬，拉出來溜溜就知道了，訓練好的模型性能如何，評估測驗一下就知道了，可以使用模型自帶的evaluate()方法和predict()方法對模型進行評估和預測，
In [12]:# 如果是numpy資料，可以這么使用 data = np.random.random((1000, 32)) labels = np.random.random((1000, 10)) model.evaluate(data, labels, batch_size=32)
1000/1 [=================================================] - 0s 17us/sample - loss: 161163.7180 - categorical_accuracy: 0.0930Out[12]:
[153591.27975, 0.093]In [13]:
# 如果數Dataset物件，可以這么使用 dataset = tf.data.Dataset.from_tensor_slices((data, labels)) dataset = dataset.batch(32) model.evaluate(dataset)
32/32 [==============================] - 0s 579us/step - loss: 153946.2378 - categorical_accuracy: 0.0930Out[13]:
[153946.23779296875, 0.093]
使用predict()方法進行預測：
In [14]:# numpy資料 result = model.predict(data, batch_size=32) print(result.shape)
(1000, 10)In [16]:
# dataset資料 result = model.predict(dataset) print(result.shape)
(1000, 10)
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/57279.html
標籤：其他