大家好，我是「K同學啊」！

前幾天翻譯了一篇講十大CNN結構的文章（「多圖」圖解10大CNN架構），原作者思路十分清晰，從時間線上，將近年來CNN發展程序中一些比較重要的網路模型做了一一介紹，我發現其中好像有幾個網路模型并沒有在《深度學習100例》出現，接下一段時間我將圍繞這些網路模型進行實戰講解，

LeNet-5

在90年代，由于支持向量機（Support Vecotr Machine，SVM）等演算法的發展，深度學習的發展受到了很大的阻礙（盡管Geoffery Hinton在1986年發明的BP演算法（Backpropagation）解決了神經網路的非線性分類學習的問題，但梯度消失的問題沒有得到很好的解決），但Yann LeCun等人堅持不懈，依然在該領域苦苦研究，1998年，Yann LeCun提出了LeNet-5網路，LeNet-5被譽為是卷積神經網路的“Hello Word”，足以見其重要性，

LeNet-5 是最簡單的架構之一，它有 2 個卷積層和 3 個全連接層（LeNet-5 中的“5”——神經網路的名稱通常來自于它們所具有的卷積層和全連接層的數量），我們現在所知道的平均池化層被稱為子采樣層，它具有可訓練的權重，這個架構有大約60,000 個引數，

📝刊物

論文：Gradient-Based Learning Applied to Document Recognition
作者：Yann LeCun、Léon Bottou、Yoshua Bengio 和 Patrick Haffner
發表于： IEEE Proceedings of the IEEE (1998)

🚀 我的環境：

語言環境：Python3.6.5
編譯器：jupyter notebook
深度學習環境：TensorFlow2.4.1
顯卡（GPU）：NVIDIA GeForce RTX 3080

🚀 來自專欄：《深度學習100例》

如果你是一名深度學習小白可以先看看我這個專門為你寫的專欄：《小白入門深度學習》

文章目錄

一、前期作業
- 1. 設定GPU
- 2. 匯入資料
- 3. 歸一化
- 4. 可視化
二、構建CNN網路
三、編譯
四、訓練模型
五、預測
六、模型評估
- 1. Accuracy與Loss圖
- 2. 混淆矩陣
七、同系列作品

一、前期作業

1. 設定GPU

如果使用的是CPU可以忽略這步

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多個GPU，僅使用第0個GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #設定GPU顯存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

2. 匯入資料

from tensorflow import keras
from tensorflow.keras import datasets, layers, models
import os,PIL
import tensorflow as tf
import matplotlib.pyplot as plt
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號

#隱藏警告
import warnings
warnings.filterwarnings('ignore')

(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()

3. 歸一化

# 將像素的值標準化至0到1的區間內，
train_images, test_images = train_images / 255.0, test_images / 255.0

train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

((50000, 32, 32, 3), (10000, 32, 32, 3), (50000, 1), (10000, 1))

4. 可視化

class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer','dog', 'frog', 'horse', 'ship', 'truck']

plt.figure(figsize=(20,10))
for i in range(40):
    plt.subplot(5,10,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    plt.xlabel(class_names[train_labels[i][0]])
plt.show()

二、構建CNN網路

batch = 32
model = keras.Sequential([
    # 卷積層1
    keras.layers.Conv2D(6, 5),                         # 使用6個5*5的卷積核對單通道32*32的圖片進行卷積，結果得到6個28*28的特征圖
    keras.layers.MaxPooling2D(pool_size=2, strides=2), # 對28*28的特征圖進行2*2最大池化，得到14*14的特征圖
    keras.layers.ReLU(),                               # ReLU激活函式 
    # 卷積層2
    keras.layers.Conv2D(16, 5),                        # 使用16個5*5的卷積核對6通道14*14的圖片進行卷積，結果得到16個10*10的特征圖
    keras.layers.MaxPooling2D(pool_size=2, strides=2), # 對10*10的特征圖進行2*2最大池化，得到5*5的特征圖
    keras.layers.ReLU(),                               # ReLU激活函式
    # 卷積層3
    keras.layers.Conv2D(120, 5),  # 使用120個5*5的卷積核對16通道5*5的圖片進行卷積，結果得到120個1*1的特征圖
    keras.layers.ReLU(),          # ReLU激活函式
    # 將 (None, 1, 1, 120) 的下采樣圖片拉伸成 (None, 120) 的形狀
    keras.layers.Flatten(),
    # 全連接層1
    keras.layers.Dense(84, activation='relu'),    # 32*84
    # 全連接層2
    keras.layers.Dense(10, activation='softmax')  # 32*10
])
model.build(input_shape=(batch, 32, 32, 3))
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (32, 28, 28, 6)           456       
_________________________________________________________________
max_pooling2d (MaxPooling2D) (32, 14, 14, 6)           0         
_________________________________________________________________
re_lu (ReLU)                 (32, 14, 14, 6)           0         
_________________________________________________________________
conv2d_1 (Conv2D)            (32, 10, 10, 16)          2416      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (32, 5, 5, 16)            0         
_________________________________________________________________
re_lu_1 (ReLU)               (32, 5, 5, 16)            0         
_________________________________________________________________
conv2d_2 (Conv2D)            (32, 1, 1, 120)           48120     
_________________________________________________________________
re_lu_2 (ReLU)               (32, 1, 1, 120)           0         
_________________________________________________________________
flatten (Flatten)            (32, 120)                 0         
_________________________________________________________________
dense (Dense)                (32, 84)                  10164     
_________________________________________________________________
dense_1 (Dense)              (32, 10)                  850       
=================================================================
Total params: 62,006
Trainable params: 62,006
Non-trainable params: 0
_________________________________________________________________

三、編譯

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

四、訓練模型

epochs = 20

history = model.fit(train_images, train_labels, epochs=epochs,
                    validation_data=(test_images, test_labels))

Epoch 1/20
1563/1563 [==============================] - 23s 14ms/step - loss: 1.8339 - accuracy: 0.3194 - val_loss: 1.4007 - val_accuracy: 0.4835
Epoch 2/20
1563/1563 [==============================] - 21s 13ms/step - loss: 1.3719 - accuracy: 0.5025 - val_loss: 1.3414 - val_accuracy: 0.5132
Epoch 3/20
1563/1563 [==============================] - 21s 13ms/step - loss: 1.2513 - accuracy: 0.5491 - val_loss: 
......
Epoch 18/20
1563/1563 [==============================] - 25s 16ms/step - loss: 0.7382 - accuracy: 0.7391 - val_loss: 1.1993 - val_accuracy: 0.6142
Epoch 19/20
1563/1563 [==============================] - 24s 15ms/step - loss: 0.7124 - accuracy: 0.7442 - val_loss: 1.2107 - val_accuracy: 0.6104
Epoch 20/20
1563/1563 [==============================] - 23s 15ms/step - loss: 0.6981 - accuracy: 0.7543 - val_loss: 1.1922 - val_accuracy: 0.6148

五、預測

plt.imshow(test_images[1])

<matplotlib.image.AxesImage at 0x1a44e6b5490>

import numpy as np

pre = model.predict(test_images)
print(class_names[np.argmax(pre[1])])

ship

六、模型評估

1. Accuracy與Loss圖

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

作為早期的網路模型，LeNet-5的不足（過擬合）也在這里體現出來了，也正是這些不完美才有了CNN后面的發展，

2. 混淆矩陣

Seaborn 是一個畫圖庫，它基于 Matplotlib 核心庫進行了更高階的 API 封裝，可以讓你輕松地畫出更漂亮的圖形，Seaborn 的漂亮主要體現在配色更加舒服、以及圖形元素的樣式更加細膩，

from sklearn.metrics import confusion_matrix
import seaborn as sns
import pandas as pd

# 定義一個繪制混淆矩陣圖的函式
def plot_cm(labels, predictions):
    
    # 生成混淆矩陣
    conf_numpy = confusion_matrix(labels, predictions)
    # 將矩陣轉化為 DataFrame
    conf_df = pd.DataFrame(conf_numpy, index=class_names ,columns=class_names)  
    
    plt.figure(figsize=(8,7))
    
    sns.heatmap(conf_df, annot=True, fmt="d", cmap="BuPu")
    
    plt.title('混淆矩陣@K同學啊',fontsize=15)
    plt.ylabel('真實值',fontsize=14)
    plt.xlabel('預測值',fontsize=14)

val_pre   = []
val_label = []

#這里可以取部分驗證資料生成混淆矩陣
for image, label in zip(test_images[:200], test_labels[:200]):
    # 需要給圖片增加一個維度
    img_array = tf.expand_dims(image, 0) 
    # 使用模型預測圖片
    prediction = model.predict(img_array)

    val_pre.append(class_names[np.argmax(prediction)])
    val_label.append(class_names[label[0]])

plot_cm(val_label, val_pre)

七、同系列作品

🚀 深度學習新人必看：《小白入門深度學習》

小白入門深度學習 | 第一篇：配置深度學習環境
小白入門深度學習 | 第二篇：編譯器的使用-Jupyter Notebook
小白入門深度學習 | 第三篇：深度學習初體驗

🚀 往期精彩-卷積神經網路篇：

深度學習100例-卷積神經網路（CNN）實作mnist手寫數字識別 | 第1天
深度學習100例-卷積神經網路（CNN）彩色圖片分類 | 第2天
深度學習100例-卷積神經網路（CNN）服裝影像分類 | 第3天
深度學習100例-卷積神經網路（CNN）花朵識別 | 第4天
深度學習100例-卷積神經網路（CNN）天氣識別 | 第5天
深度學習100例-卷積神經網路（VGG-16）識別海賊王草帽一伙 | 第6天
深度學習100例-卷積神經網路（VGG-19）識別靈籠中的人物 | 第7天
深度學習100例-卷積神經網路（ResNet-50）鳥類識別 | 第8天
深度學習100例-卷積神經網路（AlexNet）手把手教學 | 第11天
深度學習100例-卷積神經網路（CNN）識別驗證碼 | 第12天
深度學習100例-卷積神經網路（Inception V3）識別手語 | 第13天
深度學習100例-卷積神經網路（Inception-ResNet-v2）識別交通標志 | 第14天
深度學習100例-卷積神經網路（CNN）實作車牌識別 | 第15天
深度學習100例-卷積神經網路（CNN）識別神奇寶貝小智一伙 | 第16天
深度學習100例-卷積神經網路（CNN）注意力檢測 | 第17天
深度學習100例-卷積神經網路（VGG-16）貓狗識別 | 第21天

🚀 往期精彩-回圈神經網路篇：

深度學習100例-回圈神經網路（RNN）實作股票預測 | 第9天
深度學習100例-回圈神經網路（LSTM）實作股票預測 | 第10天

🚀 往期精彩-生成對抗網路篇：

深度學習100例-生成對抗網路（GAN）手寫數字生成 | 第18天
深度學習100例-生成對抗網路（DCGAN）手寫數字生成 | 第19天
深度學習100例-生成對抗網路（DCGAN）生成動漫小姐姐 | 第20天

🚀 本文選自專欄：《深度學習100例》

💖先贊后看，再收藏，養成好習慣！💖

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/293871.html

標籤：AI

上一篇：【李宏毅深度學習CP12】Transformer（part1）（更新ing）

下一篇：使用TensorFlow訓練自己的圖片并應用（CNN卷積神經網路）

深度學習100例-卷積神經網路（LeNet-5）深度學習里的“Hello Word” | 第22天