同學自己分組，上網收10類花的圖片1100張，按{牡丹，月季，百合，徑訓，荷花，紫荊花，梅花，…}標注，其中1000張作為訓練樣本，100張作為測驗樣本，設計一個CNN卷積神經網路花卉分類器進行花卉的分類，完成模型學習訓練后，進行分類測驗，并做誤差分析，檢查模型的泛化性，
額，這里我們在網上找了10類花朵的資料，將資料進行分類，放在各個檔案夾，檔案名是花朵的標簽，然后對圖片大小統一為256*256，
將資料集分成訓練集（train）、驗證集(validation)、測驗集(test)
分別為訓練集800張，驗證集100張，測驗集100張，訓練集和驗證集的需要進行灰度處理，測驗集不需要，
訓練集:顧名思義指的是用于訓練的樣本集合,主要用來訓練神經網路中的引數.
驗證集:從字面意思理解即為用于驗證模型性能的樣本集合.不同神經網路在訓練集上訓練結束后,通過驗證集來比較判斷各個模型的性能.這里的不同模型主要是指對應不同超引數的神經網路,也可以指完全不同結構的神經網路.
測驗集:對于訓練完成的神經網路,測驗集用于客觀的評價神經網路的性能.
（一）資料預處理
1.批量重命名檔案名：
# -*- coding:utf8 -*-
import os
class BatchRename():
'''
批量重命名檔案夾中的圖片檔案
'''
def __init__(self):
self.path = r'C:\Users\admin\Desktop\Machine Learning\flowers\9' #表示需要命名處理的檔案夾
self.label = 9
def rename(self):
#os.listdir() 方法用于回傳指定的檔案夾包含的檔案或檔案夾的名字的串列，這個串列以字母順序
filelist = os.listdir(self.path)
total_num = len(filelist) #獲取檔案夾內所有檔案個數
i = 1 #表示檔案的命名是從1開始的
for item in filelist:
if item.endswith('.jpg'):
#初始的圖片的格式為jpg格式的（或者源檔案是png格式及其他格式，后面的轉換格式就可以調整為自己需要的即可）
src = os.path.join(os.path.abspath(self.path), item)
dst = os.path.join(os.path.abspath(self.path),str(self.label) + '_'+str(i) + '.jpg')
#處理后的格式也為jpg格式的，當然這里可以改成png格式
#dst = os.path.join(os.path.abspath(self.path), '0000' + format(str(i), '0>3s') + '.jpg')
#這種情況下的命名格式為0000000.jpg形式，可以自主定義想要的格式
try:
os.rename(src, dst)
print ('converting %s to %s ...' % (src, dst))
i = i + 1
except:
continue
print ('total %d to rename & converted %d jpgs' % (total_num, i))
if __name__ == '__main__':
demo = BatchRename()
demo.rename()2.修改圖片大小尺寸，256*256
#提取目錄下所有圖片,更改尺寸后保存到另一目錄
from PIL import Image
import os.path
import glob
def convertjpg(jpgfile,outdir,width=256,height=256):
img=Image.open(jpgfile)
try:
new_img=img.resize((width,height),Image.BILINEAR)
new_img.save(os.path.join(outdir,os.path.basename(jpgfile)))
except Exception as e:
print(e)
save_file_path = r"C:\Users\admin\Desktop\Machine Learning\flowers\0_cut"
try:
os.mkdir(save_file_path)
except Exception as e:
print(e)
for jpgfile in glob.glob(r"C:\Users\admin\Desktop\Machine Learning\flowers\0\*.jpg"):
convertjpg(jpgfile,save_file_path)
3.將RGB圖片轉成灰度圖片
import os
import cv2
import numpy as np
def convert2gray(filename): # 將彩色圖轉灰度圖的函式
img = cv2.imread(file_path+'/'+filename, 1) # 1是以彩色圖方式去讀
print(img)
gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite(out_path + '/' + filename, gray_img) # 保存在新檔案夾下，且圖名中加GRAY
file_path = r"C:\Users\admin\Desktop\Machine Learning\flowers\9_cut" # 輸入檔案夾
Gray_path = r"C:\Users\admin\Desktop\Machine Learning\flowers\9_GRAY"
try:
os.mkdir(Gray_path) # 建立新的目錄
except Exception as e:
print(e)
out_path = Gray_path # 設定為新目錄為輸出檔案夾
for filename in os.listdir(file_path): # 遍歷輸入路徑，得到圖片名
print(filename)
convert2gray(filename)
（二）CNN模型訓練
1.小編使用的是CPU跑的，首先跑1600次， 可以達到98%多的準確率,收斂速度有點慢
#! -- coding: utf-8 --*--
import tensorflow as tf
# import keras.backend.tensorflow_backend as ktf
# 設定 GPU 顯存占用比例為 0.3
# config = tf.ConfigProto()
# config.gpu_options.per_process_gpu_memory_fraction = 0.7
# session = tf.Session(config=config)
# ktf.set_session(session )
from keras.preprocessing import image#影像預處理工具得模塊
from keras.preprocessing.image import img_to_array
from keras import models
from keras import layers
from keras import optimizers
from keras.models import load_model
train_dir=r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\train'
validation_dir=r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\validation'
#定義一個包含dropout的新卷積神經網路
# model=models.Sequential()
model = load_model('flower_model.h5')
model.summary()
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(256,256,3)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Dropout(0.25))
model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512,activation='relu'))
# model.add(layers.Dense(256,activation='relu'))
model.add(layers.Dense(10,activation='sigmoid'))
model.compile(loss='categorical_crossentropy',optimizer=optimizers.RMSprop(lr=1e-4),metrics=['acc'])
#利用資料增強生成器訓練卷積神經網路
train_datagen=image.ImageDataGenerator(rescale=1./255,rotation_range=40,width_shift_range=0.2,height_shift_range=0.2,
shear_range=0.2,zoom_range=0.2,horizontal_flip=True)
# train_datagen=img_to_array(train_datagen)
#注意，不能增強驗證資料集
test_datagen=image.ImageDataGenerator(rescale=1./255)
#將所有影像的大小調整為150*150
#因為使用了binary_crossentropy損失，所以需要用二進制標簽
train_generator=train_datagen.flow_from_directory(train_dir,target_size=(256,256),batch_size=16,class_mode='categorical')
validation_generator=test_datagen.flow_from_directory(validation_dir,target_size=(256,256),batch_size=16,class_mode='categorical')
history=model.fit_generator(train_generator,steps_per_epoch=25,epochs=600,validation_data=validation_generator,validation_steps=25)
#模型保存
model.save('flower_model.h5')得到模型flower_model.h5
2.可以在原先跑出來的模型的基礎上繼續跑，加載模型繼續訓練
from keras import layers
from keras import models
from keras.models import load_model
# 繪制訓練程序中的損失函式曲線和精度曲線
import matplotlib.pyplot as plt
# 使用ImageDataGenerator從目錄中讀取影像
from keras.preprocessing.image import ImageDataGenerator
import os
from PIL import Image
import numpy as np
# keras.preprocessing.image能夠將硬碟上的影像檔案自動轉換為預處理的張量批量
model = load_model('flower_model.h5')
train_datagen = ImageDataGenerator(rescale=1. / 255, #歸一化
rotation_range=10, #旋轉角度
width_shift_range=0.1, #水平偏移
height_shift_range=0.1, #垂直偏移
shear_range=0.1, #隨機錯切變換的角度
zoom_range=0.1, #隨機縮放的范圍
horizontal_flip=True, #隨機將一半影像水平翻轉
vertical_flip=True, #垂直翻轉
fill_mode='nearest') #填充像素的方法
test_datagen = ImageDataGenerator(rescale=1./255)
train_dir = r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\train'
train_generator = train_datagen.flow_from_directory(
train_dir,
target_size=(256,256),
batch_size=20,
class_mode='categorical'
)
validation_dir=r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\validation'
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(256,256),
batch_size=20,
class_mode='categorical'
)
# 利用生成器，我們讓模型對資料進行擬合
history = model.fit_generator(
train_generator,
steps_per_epoch=25,
epochs=600,
validation_data=validation_generator,
validation_steps=25
)
# 良好實踐，保存模型
model.save('flower_model1.h5')
print(type(validation_generator.image_data_generator))（三）模型測驗
from keras import layers
from keras import models
from keras.models import load_model
from keras.preprocessing import image#影像預處理工具得模塊
from keras.preprocessing.image import ImageDataGenerator
# 繪制訓練程序中的損失函式曲線和精度曲線
import matplotlib.pyplot as plt
import pylab
# 使用ImageDataGenerator從目錄中讀取影像
from keras.preprocessing.image import ImageDataGenerator
import os
from PIL import Image
import numpy as np
validation_dir=r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\test'
test_datagen=image.ImageDataGenerator(rescale=1./255)
validation_generator=test_datagen.flow_from_directory(validation_dir,target_size=(256,256),batch_size=10,class_mode='categorical')
# keras.preprocessing.image能夠將硬碟上的影像檔案自動轉換為預處理的張量批量
model = load_model('flower_model1.h5')
model.summary()
# score = model.evaluate(validation_generator,verbose = 0)
# print(score)
# print('Test score:', score[0])
# print('Test accuracy:', score[1])
x_test,y_test=next(validation_generator)
# print('x_test',x_test[0:2])
# print('y_test',y_test[0:2])
font={ 'color': 'red',
'size': 20,
'family': 'Times New Roman',
#'style':'italic', # 斜體
'fontweight':'bold'
}
n = 5
encoded_data = y_test[0:n]
# one_hot 解碼
decoded_data = np.argmax(encoded_data, axis=1)
# print(decoded_data)
# print(type(decoded_data))
decoded_data = list(decoded_data)
print(decoded_data)
# print(type(decoded_data))
# 從檔案夾中讀取圖片標簽
def get_imglst(test_path):
test_label_lst = os.listdir(test_path)
return test_label_lst
test_path = r'C:\Users\admin\Desktop\Machine Learning\flowers\Gray\test'
test_label_lst = get_imglst(test_path)
for i in range(len(decoded_data)):
print('該花朵的種類是%s'%test_label_lst[decoded_data[i]])
plt.imshow(x_test[i])
plt.text(80, 20, test_label_lst[decoded_data[i]], fontdict=font)
pylab.show()實驗結果圖：
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/262561.html
標籤：python
上一篇：Python人臉識別