大家好，我是『K同學啊』！

接著上一篇文章深度學習100例 | 第24天-卷積神經網路（Xception）：動物識別，我用Xception模型實作了對狗、貓、雞、馬等四種動物的識別，帶大家了解了Xception的構建，這次我們來 實作一下中文版的手寫數字識別 ，聽到手寫數字識別或許會覺得簡單，今天可能不一定哈，

本次的重點：

資料檢查：在開始之前做一系列檢查避免后期由于資料原因出現的bug，
各項指標評估部分

🚀 我的環境：

語言環境：Python3.6.5
編譯器：jupyter notebook
深度學習環境：TensorFlow2.4.1
顯卡（GPU）：NVIDIA GeForce RTX 3080

🚀 來自專欄：《深度學習100例》

如果你是一名深度學習小白可以先看看我這個專門為你寫的專欄：《小白入門深度學習》

小白入門深度學習 | 第一篇：配置深度學習環境
小白入門深度學習 | 第二篇：編譯器的使用-Jupyter Notebook
小白入門深度學習 | 第三篇：深度學習初體驗
小白入門深度學習 | 第四篇：配置PyTorch環境

🚀 往期精彩-卷積神經網路篇：

深度學習100例-卷積神經網路（CNN）實作mnist手寫數字識別 | 第1天
深度學習100例-卷積神經網路（CNN）彩色圖片分類 | 第2天
深度學習100例-卷積神經網路（CNN）服裝影像分類 | 第3天
深度學習100例-卷積神經網路（CNN）花朵識別 | 第4天
深度學習100例-卷積神經網路（CNN）天氣識別 | 第5天
深度學習100例-卷積神經網路（VGG-16）識別海賊王草帽一伙 | 第6天
深度學習100例-卷積神經網路（VGG-19）識別靈籠中的人物 | 第7天
深度學習100例-卷積神經網路（ResNet-50）鳥類識別 | 第8天
深度學習100例-卷積神經網路（AlexNet）手把手教學 | 第11天
深度學習100例-卷積神經網路（CNN）識別驗證碼 | 第12天
深度學習100例-卷積神經網路（Inception V3）識別手語 | 第13天
深度學習100例-卷積神經網路（Inception-ResNet-v2）識別交通標志 | 第14天
深度學習100例-卷積神經網路（CNN）實作車牌識別 | 第15天
深度學習100例-卷積神經網路（CNN）識別神奇寶貝小智一伙 | 第16天
深度學習100例-卷積神經網路（CNN）注意力檢測 | 第17天
深度學習100例-卷積神經網路（VGG-16）貓狗識別 | 第21天
深度學習100例-卷積神經網路（LeNet-5）深度學習里的“Hello Word” | 第22天
深度學習100例-卷積神經網路（CNN）3D醫療影像識別 | 第23天
深度學習100例 | 第24天-卷積神經網路（Xception）：動物識別

🚀 往期精彩-回圈神經網路篇：

深度學習100例-回圈神經網路（RNN）實作股票預測 | 第9天
深度學習100例-回圈神經網路（LSTM）實作股票預測 | 第10天

🚀 往期精彩-生成對抗網路篇：

深度學習100例-生成對抗網路（GAN）手寫數字生成 | 第18天
深度學習100例-生成對抗網路（DCGAN）手寫數字生成 | 第19天
深度學習100例-生成對抗網路（DCGAN）生成動漫小姐姐 | 第20天

文章目錄

一、設定GPU
二、匯入資料
- 1. pandas匯入資料
- 2. 檢查資料是否缺失
- 3. 劃分資料集
三、構建模型
四、編譯
五、訓練模型
六、評估模型
- 1. Accuracy與Loss圖
- 2. 混淆矩陣
- 3. 各項指標評估
七、同系列作品

一、設定GPU

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多個GPU，僅使用第0個GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #設定GPU顯存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
import matplotlib.pyplot as plt
import os,PIL,pathlib
import numpy as np
import pandas as pd
import warnings
from tensorflow import keras

warnings.filterwarnings("ignore")#忽略警告資訊
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'

二、匯入資料

IMAGE_WIDTH = 64
IMAGE_HEIGHT = 64
IMAGE_CHANNELS = 1
RANDOM_STATE = 42
TEST_SIZE = 0.2
VAL_SIZE = 0.2
BATCH_SIZE = 32
NO_EPOCHS = 50
PATIENCE = 5
VERBOSE = 1

1. pandas匯入資料

data_df = pd.read_csv("./data/chinese_mnist.csv")

data_df.sample(100).head()

	suite_id	sample_id	code	value	character
7606	63	6	2	1	一
223	29	3	10	9	九
852	86	2	10	9	九
2408	45	8	12	100	百
6743	76	3	1	0	零

2. 檢查資料是否缺失

# 查看是否有缺失資料
def missing_data(data):
    total = data.isnull().sum().sort_values(ascending = False)
    percent = (data.isnull().sum()/data.isnull().count()*100).sort_values(ascending = False)
    return pd.concat([total, percent], axis=1, keys=['Total', 'Percent'])
missing_data(data_df)

	Total	Percent
character	0	0.0
value	0	0.0
code	0	0.0
sample_id	0	0.0
suite_id	0	0.0

（1）列印資料總量

IMAGE_PATH = './data/pictures/'
image_files = list(os.listdir(IMAGE_PATH))
print("資料總量: {}".format(len(image_files)))

資料總量: 15000

（2）匹配到的資料總量

def create_file_name(x):
    file_name = f"input_{x[0]}_{x[1]}_{x[2]}.jpg"
    return file_name

data_df["file"] = data_df.apply(create_file_name, axis=1)

file_names = list(data_df['file'])
print("匹配到的資料總量: {}".format(len(set(file_names).intersection(image_files))))

匹配到的資料總量: 15000

（3）檢查資料的各項資訊

def read_image_sizes(file_name):
    image = skimage.io.imread(IMAGE_PATH + file_name)
    return list(image.shape)

import skimage
import skimage.io
import skimage.transform
m = np.stack(data_df['file'].apply(read_image_sizes))

df = pd.DataFrame(m,columns=['w','h'])
data_df = pd.concat([data_df,df],axis=1, sort=False)
data_df.head()

	suite_id	sample_id	code	value	character	file	w	h
0	1	1	10	9	九	input_1_1_10.jpg	64	64
1	1	10	10	9	九	input_1_10_10.jpg	64	64
2	1	2	10	9	九	input_1_2_10.jpg	64	64
3	1	3	10	9	九	input_1_3_10.jpg	64	64
4	1	4	10	9	九	input_1_4_10.jpg	64	64

3. 劃分資料集

from sklearn.model_selection import train_test_split

train_df, test_df = train_test_split(data_df, test_size=TEST_SIZE, random_state=RANDOM_STATE, stratify=data_df["code"].values)
train_df, val_df  = train_test_split(train_df, test_size=VAL_SIZE, random_state=RANDOM_STATE, stratify=train_df["code"].values)

print("Train set rows: {}".format(train_df.shape[0]))
print("Test  set rows: {}".format(test_df.shape[0]))
print("Val   set rows: {}".format(val_df.shape[0]))

Train set rows: 9600
Test  set rows: 3000
Val   set rows: 2400

三、構建模型

def read_image(file_name):
    image = skimage.io.imread(IMAGE_PATH + file_name)
    image = skimage.transform.resize(image, (IMAGE_WIDTH, IMAGE_HEIGHT, 1), mode='reflect')
    return image[:,:,:]

def categories_encoder(dataset, var='character'):
    X = np.stack(dataset['file'].apply(read_image))
    y = pd.get_dummies(dataset[var], drop_first=False) #get_dummies是利用pandas實作one hot encode的方式，
    return X, y

train_df.shape

(9600, 8)

X_train, y_train = categories_encoder(train_df)
X_val,   y_val   = categories_encoder(val_df)
X_test,  y_test  = categories_encoder(test_df)

X_train.shape,y_train.shape

((9600, 64, 64, 1), (9600, 15))

import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu",input_shape=[64, 64, 1]),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),

    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(15, activation="softmax")
])
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 64, 64, 16)        160       
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 64, 64, 16)        2320      
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 32, 32, 16)        0         
_________________________________________________________________
dropout (Dropout)            (None, 32, 32, 16)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 32, 32, 16)        2320      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 16, 16, 16)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 16, 16, 16)        2320      
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 8, 8, 16)          0         
_________________________________________________________________
flatten (Flatten)            (None, 1024)              0         
_________________________________________________________________
dense (Dense)                (None, 15)                15375     
=================================================================
Total params: 22,495
Trainable params: 22,495
Non-trainable params: 0
_________________________________________________________________

四、編譯

model.compile(optimizer="adam",
                loss='categorical_crossentropy',
                metrics=['accuracy'])

y_train.shape

(9600, 15)

五、訓練模型

from tensorflow.keras.callbacks import ModelCheckpoint, Callback, EarlyStopping, ReduceLROnPlateau, LearningRateScheduler

# 設定動態學習率
annealer = LearningRateScheduler(lambda x: 1e-3 * 0.99 ** (x+NO_EPOCHS))

# 設定早停
earlystopper = EarlyStopping(monitor='loss', patience=PATIENCE, verbose=VERBOSE)

# 
checkpointer = ModelCheckpoint('best_model.h5',
                                monitor='val_accuracy',
                                verbose=VERBOSE,
                                save_best_only=True,
                                save_weights_only=True)

train_model  = model.fit(X_train, y_train,
                  batch_size=BATCH_SIZE,
                  epochs=NO_EPOCHS,
                  verbose=1,
                  validation_data=(X_val, y_val),
                  callbacks=[earlystopper, checkpointer, annealer])

Epoch 1/50
300/300 [==============================] - 4s 5ms/step - loss: 1.8074 - accuracy: 0.4356 - val_loss: 1.2356 - val_accuracy: 0.6237

Epoch 00001: val_accuracy improved from -inf to 0.62375, saving model to best_model.h5
Epoch 2/50
300/300 [==============================] - 1s 4ms/step - loss: 0.9848 - accuracy: 0.6914 - val_loss: 0.7914 - val_accuracy: 0.7508

Epoch 00002: val_accuracy improved from 0.62375 to 0.75083, saving model to best_model.h5
Epoch 3/50
300/300 [==============================] - 1s 4ms/step - loss: 0.6645 - accuracy: 0.7898 - val_loss: 0.5913 - val_accuracy: 0.8117

......
Epoch 00046: val_accuracy did not improve from 0.96833
Epoch 47/50
300/300 [==============================] - 1s 4ms/step - loss: 0.0243 - accuracy: 0.9924 - val_loss: 0.1612 - val_accuracy: 0.9646

Epoch 00047: val_accuracy did not improve from 0.96833
Epoch 48/50
300/300 [==============================] - 1s 4ms/step - loss: 0.0262 - accuracy: 0.9911 - val_loss: 0.1613 - val_accuracy: 0.9642

Epoch 00048: val_accuracy did not improve from 0.96833
Epoch 49/50
300/300 [==============================] - 1s 4ms/step - loss: 0.0244 - accuracy: 0.9920 - val_loss: 0.1448 - val_accuracy: 0.9658

Epoch 00049: val_accuracy did not improve from 0.96833
Epoch 50/50
300/300 [==============================] - 1s 4ms/step - loss: 0.0287 - accuracy: 0.9908 - val_loss: 0.1575 - val_accuracy: 0.9679

Epoch 00050: val_accuracy did not improve from 0.96833

六、評估模型

1. Accuracy與Loss圖

acc = train_model.history['accuracy']
val_acc = train_model.history['val_accuracy']

loss = train_model.history['loss']
val_loss = train_model.history['val_loss']

epochs_range = range(len(acc))

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

2. 混淆矩陣

from sklearn.metrics import confusion_matrix
import seaborn as sns
import pandas as pd

class_names = ["零","一","二","三","四","五","六","七","八","九","十","百","千","萬","億"]

# 定義一個繪制混淆矩陣圖的函式
def plot_cm(labels, predictions):
    
    # 生成混淆矩陣
    conf_numpy = confusion_matrix(labels, predictions)
    # 將矩陣轉化為 DataFrame
    conf_df = pd.DataFrame(conf_numpy, index=class_names ,columns=class_names)  
    
    plt.figure(figsize=(8,7))
    
    sns.heatmap(conf_df, annot=True, fmt="d", cmap="BuPu")
    
    plt.title('混淆矩陣',fontsize=15)
    plt.ylabel('真實值',fontsize=14)
    plt.xlabel('預測值',fontsize=14)
    
predicted      = model.predict(X_test)
test_predicted = np.argmax(predicted, axis=1)
test_truth     = np.argmax(y_test.values, axis=1)
# 繪制混淆矩陣
plot_cm(test_truth,test_predicted)

3. 各項指標評估

score = model.evaluate(X_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

Test loss: 0.13785076141357422
Test accuracy: 0.9706666469573975

from sklearn import metrics

def test_accuracy_report(model):
    predicted      = model.predict(X_test)
    test_predicted = np.argmax(predicted, axis=1)
    test_truth     = np.argmax(y_test.values, axis=1)
    
    print(metrics.classification_report(test_truth, test_predicted, target_names=y_test.columns)) 
    
    test_res = model.evaluate(X_test, y_test.values, verbose=0)
    print('Loss function: %s, accuracy:' % test_res[0], test_res[1])
test_accuracy_report(model)

              precision    recall  f1-score   support

           一       0.99      0.98      0.99       200
           七       0.98      0.98      0.98       200
           萬       0.97      0.96      0.97       200
           三       0.96      0.99      0.97       200
           九       0.97      0.95      0.96       200
           二       0.98      0.95      0.96       200
           五       0.99      0.99      0.99       200
           億       0.97      0.98      0.97       200
           八       0.99      1.00      1.00       200
           六       0.96      0.98      0.97       200
           十       0.89      0.97      0.93       200
           千       0.98      0.88      0.92       200
           四       0.98      0.99      0.98       200
           百       0.96      0.94      0.95       200
           零       0.99      1.00      1.00       200

    accuracy                           0.97      3000
   macro avg       0.97      0.97      0.97      3000
weighted avg       0.97      0.97      0.97      3000

Loss function: 0.13785076141357422, accuracy: 0.9706666469573975

七、同系列作品

🚀 深度學習新人必看：《小白入門深度學習》

小白入門深度學習 | 第一篇：配置深度學習環境
小白入門深度學習 | 第二篇：編譯器的使用-Jupyter Notebook
小白入門深度學習 | 第三篇：深度學習初體驗
小白入門深度學習 | 第四篇：配置PyTorch環境