大家好，我是『K同學啊』！
今天我將帶大家探索一下深度學習在醫學領域的應用，乳腺癌是女性最常見的癌癥形式，浸潤性導管癌 (IDC) 是最常見的乳腺癌形式，準確識別和分類乳腺癌亞型是一項重要的臨床任務，利用深度學習方法識別可以有效節省時間并減少錯誤， 我們的資料集是由多張以 40 倍掃描的乳腺癌 (BCa) 標本的完整載玻片影像組成，
🚀 我的環境：
- 語言環境：Python3.6.5
- 編譯器：jupyter notebook
- 深度學習環境：TensorFlow2.4.1
- 資料和代碼：📌【傳送門】
🚀 來自專欄：《深度學習100例》
如果你是一名深度學習小白可以先看看我這個專門為你寫的專欄：《小白入門深度學習》
- 小白入門深度學習 | 第一篇：配置深度學習環境
- 小白入門深度學習 | 第二篇：編譯器的使用-Jupyter Notebook
- 小白入門深度學習 | 第三篇：深度學習初體驗
- 小白入門深度學習 | 第四篇：配置PyTorch環境
🚀 往期精彩-卷積神經網路篇：
- 深度學習100例-卷積神經網路（CNN）實作mnist手寫數字識別 | 第1天
- 深度學習100例-卷積神經網路（CNN）彩色圖片分類 | 第2天
- 深度學習100例-卷積神經網路（CNN）服裝影像分類 | 第3天
- 深度學習100例-卷積神經網路（CNN）花朵識別 | 第4天
- 深度學習100例-卷積神經網路（CNN）天氣識別 | 第5天
- 深度學習100例-卷積神經網路（VGG-16）識別海賊王草帽一伙 | 第6天
- 深度學習100例-卷積神經網路（VGG-19）識別靈籠中的人物 | 第7天
- 深度學習100例-卷積神經網路（ResNet-50）鳥類識別 | 第8天
- 深度學習100例-卷積神經網路（AlexNet）手把手教學 | 第11天
- 深度學習100例-卷積神經網路（CNN）識別驗證碼 | 第12天
- 深度學習100例-卷積神經網路（Inception V3）識別手語 | 第13天
- 深度學習100例-卷積神經網路（Inception-ResNet-v2）識別交通標志 | 第14天
- 深度學習100例-卷積神經網路（CNN）實作車牌識別 | 第15天
- 深度學習100例-卷積神經網路（CNN）識別神奇寶貝小智一伙 | 第16天
- 深度學習100例-卷積神經網路（CNN）注意力檢測 | 第17天
- 深度學習100例-卷積神經網路（VGG-16）貓狗識別 | 第21天
- 深度學習100例-卷積神經網路（LeNet-5）深度學習里的“Hello Word” | 第22天
- 深度學習100例-卷積神經網路（CNN）3D醫療影像識別 | 第23天
- 深度學習100例 | 第24天-卷積神經網路（Xception）：動物識別
- 深度學習100例 | 第25天-卷積神經網路（Xception）：中文手寫數字識別
🚀 往期精彩-回圈神經網路篇：
- 深度學習100例-回圈神經網路（RNN）實作股票預測 | 第9天
- 深度學習100例-回圈神經網路（LSTM）實作股票預測 | 第10天
🚀 往期精彩-生成對抗網路篇：
- 深度學習100例-生成對抗網路（GAN）手寫數字生成 | 第18天
- 深度學習100例-生成對抗網路（DCGAN）手寫數字生成 | 第19天
- 深度學習100例-生成對抗網路（DCGAN）生成動漫小姐姐 | 第20天
文章目錄
- 一、設定GPU
- 二、匯入資料
- 1. 匯入資料
- 2. 檢查資料
- 3. 配置資料集
- 4. 資料可視化
- 三、構建模型
- 四、編譯
- 五、訓練模型
- 六、評估模型
- 1. Accuracy與Loss圖
- 2. 混淆矩陣
- 3. 各項指標評估
一、設定GPU
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
gpu0 = gpus[0] #如果有多個GPU，僅使用第0個GPU
tf.config.experimental.set_memory_growth(gpu0, True) #設定GPU顯存用量按需使用
tf.config.set_visible_devices([gpu0],"GPU")
import matplotlib.pyplot as plt
import os,PIL,pathlib
import numpy as np
import pandas as pd
import warnings
from tensorflow import keras
warnings.filterwarnings("ignore") #忽略警告資訊
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False # 用來正常顯示負號
二、匯入資料
1. 匯入資料
import pathlib
data_dir = "./32-data"
data_dir = pathlib.Path(data_dir)
image_count = len(list(data_dir.glob('*/*')))
print("圖片總數為：",image_count)
圖片總數為： 13403
batch_size = 16
img_height = 50
img_width = 50
"""
關于image_dataset_from_directory()的詳細介紹可以參考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset="training",
seed=12,
image_size=(img_height, img_width),
batch_size=batch_size)
Found 13403 files belonging to 2 classes.
Using 10723 files for training.
"""
關于image_dataset_from_directory()的詳細介紹可以參考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split=0.2,
subset="validation",
seed=12,
image_size=(img_height, img_width),
batch_size=batch_size)
Found 13403 files belonging to 2 classes.
Using 2680 files for validation.
class_names = train_ds.class_names
print(class_names)
['0', '1']
2. 檢查資料
for image_batch, labels_batch in train_ds:
print(image_batch.shape)
print(labels_batch.shape)
break
(16, 50, 50, 3)
(16,)
3. 配置資料集
- shuffle() ： 打亂資料，關于此函式的詳細介紹可以參考：https://zhuanlan.zhihu.com/p/42417456
- prefetch() ： 預取資料，加速運行，其詳細介紹可以參考我前兩篇文章，里面都有講解，
- cache() ： 將資料集快取到記憶體當中，加速運行
AUTOTUNE = tf.data.AUTOTUNE
def train_preprocessing(image,label):
return (image/255.0,label)
train_ds = (
train_ds.cache()
.shuffle(1000)
.map(train_preprocessing) # 這里可以設定預處理函式
# .batch(batch_size) # 在image_dataset_from_directory處已經設定了batch_size
.prefetch(buffer_size=AUTOTUNE)
)
val_ds = (
val_ds.cache()
.shuffle(1000)
.map(train_preprocessing) # 這里可以設定預處理函式
# .batch(batch_size) # 在image_dataset_from_directory處已經設定了batch_size
.prefetch(buffer_size=AUTOTUNE)
)
4. 資料可視化
plt.figure(figsize=(10, 8)) # 圖形的寬為10高為5
plt.suptitle("資料展示")
class_names = ["乳腺癌細胞","正常細胞"]
for images, labels in train_ds.take(1):
for i in range(15):
plt.subplot(4, 5, i + 1)
plt.xticks([])
plt.yticks([])
plt.grid(False)
# 顯示圖片
plt.imshow(images[i])
# 顯示標簽
plt.xlabel(class_names[labels[i]-1])
plt.show()
三、構建模型
import tensorflow as tf
model = tf.keras.Sequential([
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu",input_shape=[img_width, img_height, 3]),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Dropout(0.5),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
tf.keras.layers.MaxPooling2D((2,2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(2, activation="softmax")
])
model.summary()
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 50, 50, 16) 448
_________________________________________________________________
conv2d_1 (Conv2D) (None, 50, 50, 16) 2320
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 25, 25, 16) 0
_________________________________________________________________
dropout (Dropout) (None, 25, 25, 16) 0
_________________________________________________________________
conv2d_2 (Conv2D) (None, 25, 25, 16) 2320
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 12, 12, 16) 0
_________________________________________________________________
conv2d_3 (Conv2D) (None, 12, 12, 16) 2320
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 6, 6, 16) 0
_________________________________________________________________
flatten (Flatten) (None, 576) 0
_________________________________________________________________
dense (Dense) (None, 2) 1154
=================================================================
Total params: 8,562
Trainable params: 8,562
Non-trainable params: 0
_________________________________________________________________
四、編譯
model.compile(optimizer="adam",
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
五、訓練模型
from tensorflow.keras.callbacks import ModelCheckpoint, Callback, EarlyStopping, ReduceLROnPlateau, LearningRateScheduler
NO_EPOCHS = 100
PATIENCE = 5
VERBOSE = 1
# 設定動態學習率
annealer = LearningRateScheduler(lambda x: 1e-3 * 0.99 ** (x+NO_EPOCHS))
# 設定早停
earlystopper = EarlyStopping(monitor='loss', patience=PATIENCE, verbose=VERBOSE)
#
checkpointer = ModelCheckpoint('best_model.h5',
monitor='val_accuracy',
verbose=VERBOSE,
save_best_only=True,
save_weights_only=True)
train_model = model.fit(train_ds,
epochs=NO_EPOCHS,
verbose=1,
validation_data=val_ds,
callbacks=[earlystopper, checkpointer, annealer])
Epoch 1/100
671/671 [==============================] - 6s 5ms/step - loss: 0.5599 - accuracy: 0.7103 - val_loss: 0.4927 - val_accuracy: 0.7537
Epoch 00001: val_accuracy improved from -inf to 0.75373, saving model to best_model.h5
Epoch 2/100
671/671 [==============================] - 3s 4ms/step - loss: 0.4434 - accuracy: 0.8032 - val_loss: 0.5748 - val_accuracy: 0.7037
......
Epoch 00098: val_accuracy did not improve from 0.91381
Epoch 99/100
671/671 [==============================] - 3s 4ms/step - loss: 0.2091 - accuracy: 0.9149 - val_loss: 0.2311 - val_accuracy: 0.9134
Epoch 00099: val_accuracy did not improve from 0.91381
Epoch 100/100
671/671 [==============================] - 3s 4ms/step - loss: 0.2073 - accuracy: 0.9132 - val_loss: 0.2269 - val_accuracy: 0.9138
Epoch 00100: val_accuracy did not improve from 0.91381
六、評估模型
1. Accuracy與Loss圖
acc = train_model.history['accuracy']
val_acc = train_model.history['val_accuracy']
loss = train_model.history['loss']
val_loss = train_model.history['val_loss']
epochs_range = range(len(acc))
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()
2. 混淆矩陣
from sklearn.metrics import confusion_matrix
import seaborn as sns
import pandas as pd
# 定義一個繪制混淆矩陣圖的函式
def plot_cm(labels, predictions):
# 生成混淆矩陣
conf_numpy = confusion_matrix(labels, predictions)
# 將矩陣轉化為 DataFrame
conf_df = pd.DataFrame(conf_numpy, index=class_names ,columns=class_names)
plt.figure(figsize=(8,7))
sns.heatmap(conf_df, annot=True, fmt="d", cmap="BuPu")
plt.title('混淆矩陣',fontsize=15)
plt.ylabel('真實值',fontsize=14)
plt.xlabel('預測值',fontsize=14)
val_pre = []
val_label = []
for images, labels in val_ds:#這里可以取部分驗證資料（.take(1)）生成混淆矩陣
for image, label in zip(images, labels):
# 需要給圖片增加一個維度
img_array = tf.expand_dims(image, 0)
# 使用模型預測圖片中的人物
prediction = model.predict(img_array)
val_pre.append(class_names[np.argmax(prediction)])
val_label.append(class_names[label])
plot_cm(val_label, val_pre)
3. 各項指標評估
from sklearn import metrics
def test_accuracy_report(model):
print(metrics.classification_report(val_label, val_pre, target_names=class_names))
score = model.evaluate(val_ds, verbose=0)
print('Loss function: %s, accuracy:' % score[0], score[1])
test_accuracy_report(model)
precision recall f1-score support
乳腺癌細胞 0.92 0.90 0.91 1339
正常細胞 0.91 0.92 0.91 1341
accuracy 0.91 2680
macro avg 0.91 0.91 0.91 2680
weighted avg 0.91 0.91 0.91 2680
Loss function: 0.22688131034374237, accuracy: 0.9138059616088867
🚀 本文選自專欄：《深度學習100例》
💖先贊后看，再收藏，養成好習慣！💖
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/301202.html
標籤：AI
上一篇：R語言row.names函式為dataframe、matrix設定行名稱實戰
下一篇：視覺識別示例-海康威視