概述
計算機神經網路則是人工智能中最為基礎的也是較為重要的部分，它使用深度學習的方式模擬了人的神經元的作業，是一種全新的計算方法，本文的目標就是通過學習神經網路的相關知識，了解并掌握BP神經網路的實作原理和構造方法，建立一個簡單的BP神經網路，并用MNIST資料集訓練該網路，使訓練后的網路能夠成功的分類出MNIST測驗資料集上的數字，并能識別從檔案中讀入的圖片上的數字，
開發環境
CPU：英特爾 Core i7-7700HQ
GPU ：Nvidia GeForce GTX 1060
記憶體：16GB
作業系統：Windows 10 x64
開發環境：PyCharm Community Edition 2020.2 x64 + Python3.8
需要我們完成的功能
總體目標：
構建一個簡單的BP神經網路，讓這個網路可以被訓練，可以測驗資料，并實作識別用戶打開的圖片中的數字
功能需求：
- 可以自己定義神經網路的輸入層、隱藏層、學習率、訓練世代等引數
- 可以訓練、測驗該網路
- 可以從檔案夾中讀取一張圖片并進行判斷分類
非功能需求：
- 需要一個可以使操作更為簡便的圖形互動
- GUI界面設計應該簡單明了
- 對測驗資料的識別精確度要高
BP網路設計
反向傳播演算法,即Back Propagation是建立在梯度下降演算法基礎上，適用多層神經網路的引數訓練方法，由于隱藏層節點的預測誤差無法直接計算,因此,反向傳播演算法直接利用輸出層節點的預測誤差反向估計上一層隱藏節點的預測誤差,即從后往前逐層從輸出層把誤差反向傳播到輸入層,從而實作對鏈接權重調整,這也是反向傳播演算法名稱的由來，
一個典型的3層BP神經網路模型如下圖所示:
Mnist資料集的測驗圖片像素是28X28的，所以輸入節點的個數就是28X28=784；識別出的數字有0-9十個數字，所以輸出的節點的個數設定為10個；因為輸入層的節點較多，所以隱藏層的節點個數設定為100；
考慮到梯度下降演算法能夠較好的消除產生的誤差，所以激活函式設定為sigmoid函式；學習率設定為0.2，太高或太低都會導致不同的問題（梯度爆炸、梯度消失）；訓練世代設定為5個世代
因此，網路設計的引數為：
輸入層節點數:784；
隱藏層節點數：200；
輸出層節點數：10
學習率：0.1；
訓練世代：5；
激活函式：sigmoid函式
代碼實作
import PIL
import numpy as np
import pandas as pd
import imageio
from PIL import Image, ImageTk # 匯入影像處理函式庫
import tkinter as tk
from tkinter import constants, ttk
from tkinter import filedialog #匯入檔案對話框函式庫
#————————————————————————神經網路構建，三層結構——————————————————#
#激活函式
def sigmoid(x):
return 1.0 / (1.0 + np.exp(-x))
#定義神經網路函式
class neuralNetwork:
#初始化神經網路
def __init__(self,inputnodes,hiddennodes,outputnodes,learnrate):
#設立每個神經網路的輸入、隱藏、輸出層的節點數
self.inodes = inputnodes
self.hnodes = hiddennodes
self.onodes = outputnodes
#設定學習率
self.lrate = learnrate
self.wi_h = (np.random.rand(self.hnodes,self.inodes)-0.5)
self.wh_o = (np.random.rand(self.onodes,self.hnodes)-0.5)
pass
#訓練神經網路
def train(self,inputs_list,targets_list):
#輸入與標準結果
inputs = np.array(inputs_list,ndmin=2).T
targets= np.array(targets_list, ndmin=2).T
#計算隱藏層的信號值
hidden_inputs = np.dot(self.wi_h,inputs)
hidden_outputs = sigmoid(hidden_inputs)
#計算輸出層的信號值
outputs_inputs = np.dot(self.wh_o, hidden_outputs)
outputs_outputs = sigmoid(outputs_inputs)
#計算誤差：精確值-實際值
output_errors = targets - outputs_outputs
hidden_errors = np.dot(self.wh_o.T,output_errors)
#根據公式得出的運算式，直接用
self.wh_o += self.lrate * np.dot((output_errors*outputs_outputs*(1.0-outputs_outputs)),
np.transpose(hidden_outputs))
self.wi_h += self.lrate * np.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)),
np.transpose (inputs))
pass
#接受輸入，回傳輸出
#將輸出進行激活，歸一化
def query(self,input_list):
inputs = np.array(input_list,ndmin=2).T
hidden_inputs = np.dot(self.wi_h, inputs)
hidden_outputs = sigmoid(hidden_inputs)
outputs_inputs = np.dot(self.wh_o,hidden_outputs)
outputs_outputs = sigmoid(outputs_inputs)
return outputs_outputs
pass
pass
這部分對BP神經網路類進行了引數的定義和對訓練、激活函式進行了定義
#——————————————初始化GUI界面——————————————--#
window = tk.Tk()
window.title('神經網路識別MNIST資料集')
window.geometry('600x500')
global img_png # 定義全域變數 影像的
var = tk.StringVar() # 這時文字變數儲存器
text = tk.Text(window,width=20,height=17)
text.pack(fill=tk.X,side=tk.BOTTOM)
text.insert(tk.END, '請輸入相關資料，構建一個網路\n')
def craet_BPNN():
global n
global input_nodes
global hidden_nodes
global output_nodes
global learning_rate
global epochs
global training_data_list
#—————————————創建神經網路物件并用資料集訓練網路——————————#
# 輸入、隱藏、輸出節點數
input_nodes =int(var_inputs.get())
hidden_nodes= int(var_hidden.get())
output_nodes = int( var_outputs.get())
# 學習率
learning_rate = float(var_lrate.get())
epochs = int(var_epochs.get())
# 創建神經網路物件
n = neuralNetwork(input_nodes, hidden_nodes, output_nodes, learning_rate)
text.insert(tk.END, 'BP網路構建成功！\n')
text.insert(tk.END, '輸入層節點數：'+var_inputs.get()+',隱藏層節點數：'+var_hidden.get()+'，輸出層節點數：'+var_outputs.get()+'\n')
text.insert(tk.END, '學習率：' + var_lrate.get() + '，訓練世代：' + var_epochs.get()+ '\n')
text.insert(tk.END, '可以開始訓練了！\n')
#加載mnist資料集
training_data_file = open("C:\\Users\\EASKWON\\Desktop\\mnist_train_100.csv", 'r')
training_data_list = training_data_file.readlines()
training_data_file.close()
以上代碼的作用是使用函式創建神經網路物件，并加載資料集
#開始訓練函式，訓練MNist資料集
def beg_train():
for e in range(epochs):# 訓練的世代，一次訓練完成表示訓練一個世代
print("訓練中，第", e, "個世代")
text.insert(tk.END, '訓練中，第' + str(e) + '個世代\n')
text.update()
t=0
for record in training_data_list:
t+=1
print("已訓練",t,"個資料")
# 用”，“來區分資料
all_values = record.split(',')
# 將輸入縮放和轉換
inputs = (np.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
# 將目標的輸出值的0改為0.01,1改為0.99
targets = np.zeros(output_nodes) + 0.01
targets[int(all_values[0])] = 0.99
n.train(inputs, targets)
pass
text.insert(tk.END, '訓練完畢！\n')
text.insert(tk.END, '可以開始測驗你的網路了!\n')
pass
# 打開測驗資料集MNIST-test
# 開始測驗函式，遍歷所有測驗集中的測驗資料，得出準確率
#————————————————————————測驗MNIst資料集————————————————————#
def beg_test():
global test_data_list
#資料集的檔案路徑由自己定義，這是我自己的路徑
test_data_file = open("C:\\Users\\EASKWON\\PycharmProjects\\BpNetwork\\mnist_test_10.csv", 'r')
test_data_list = test_data_file.readlines()
test_data_file.close()
all_values = test_data_list[0].split(',')
print(all_values[1])
n.query((np.asfarray(all_values[1:])/255.0*0.99)+0.01)
#用來存放分數，即正確率
scorecard = []
text.insert(tk.END, '開始測驗MNIST資料集.....\n')
for record in test_data_list:
#用”，“號分開資料
all_values = record.split(',')
# 用準確值標簽記錄數字準確值
correct_label = int(all_values[0])
print("---------")
print("正確結果",correct_label)
# 縮放
inputs = (np.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
# 計算輸出
outputs = n.query(inputs)
# 輸出的最大值即為判斷值
label = np.argmax(outputs)
print( "神經網路判斷",label)
# 將正確和錯誤的判斷形成一個串列
if (label == correct_label):
# 正確為1
scorecard
scorecard.append(1)
else:
# 錯誤為0
scorecard
scorecard.append(0)
print(scorecard)
scorecard_array = np.asarray(scorecard)
#正確率
right_rate = (scorecard_array.sum() / scorecard_array.size) * 100
text.insert(tk.END, '資料測驗完畢\n')
text.insert(tk.END, '正確率='+str(right_rate)+'%\n')
text.update()
print("正確率= ", right_rate, "%")
pass
以上代碼的作用則是對資料集測驗功能的實作，它可以遍歷測驗集中的所有測驗圖片，并得出最終正確率，
到這一步，其實我們已經實作了識別手寫數字的功能了，我們的目標已經完成了，接下來就是完善它，讓它更加實用啦
#打開圖片的函式，并嘗試識別自己的圖片
#撰寫GUI，讓其更容易互動
def Open_Img():
global img_png
global path
global label_Img
OpenFile = tk.Tk() # 創建新視窗
OpenFile.withdraw()
file_path = filedialog.askopenfilename()
print("訓練已結束，開始測驗圖片")
text.insert(tk.END, '開始測驗圖片\n')
path=file_path
Img =Image.open(file_path)
img_png = ImageTk.PhotoImage(Img)
label_Img = tk.Label(window, image=img_png)
Label_Show = tk.Label(window, image=img_png,
# 使用 textvariable 替換 text, 因為這個可以變化
bg='white', font=('Arial', 12), width=60, height=60)
Label_Show.place(x=80, y=80)
var.set('影像已打開')
#自己圖片的資料存放在這里
our_own_dataset = []
image_file_name = path
print("加載中 ... ", image_file_name)
text.insert(tk.END, '加載中....'+image_file_name+'\n')
# 用檔案名來設定準確值標簽
label = int(image_file_name[20])
#將圖片轉換為陣列
img_array = imageio.imread(image_file_name, as_gray=True)
# 將圖片從28X28的陣列轉換成長為784的array
img_data = img_array.reshape(784)
# 縮放灰度值為0-1范圍內
img_data = (img_data / 255.0 * 0.99) + 0.01
print("影像最小值為",np.min(img_data))
print("影像最大值為",np.max(img_data))
# 將標簽值放到陣列第一個
record = np.append(label, img_data)
our_own_dataset.append(record)
item = 0
correct_label = our_own_dataset[item][0]
# 將轉換值作為輸入
inputs = our_own_dataset[item][1:]
# 計算網路的輸出
outputs = n.query(inputs)
print("輸出節點的輸出為：",outputs)
text.insert(tk.END, '輸出節點的輸出為\n'+str(outputs)+'\n')
text.update()
# 最高輸出值所在的數字作為識別標簽
label = np.argmax(outputs)
print("神經網路說：“它是", label, "”")
text.insert(tk.END, '神經網路認為圖中的數字是' + str(label) + '\n')
text.see(tk.END)
if (label == correct_label):
print("恭喜你，匹配成功！")
text.insert(tk.END, '恭喜你，識別成功了！\n')
else:
print("很遺憾，識別失敗了")
text.insert(tk.END, '很遺憾，識別失敗了！再試一次吧\n')
pass
#顯示圖片的函式
def SHOW():
global img_png
Label_Show = tk.Label(window, image=img_png,
# 使用 textvariable 替換 text, 因為這個可以變化
bg='white', font=('Arial', 12), width=60, height=60)
Label_Show.place(x=80, y=80)
pass
img_frame = tk.LabelFrame(window, text='影像顯示', padx=10, pady=10,
width=120,height=120)
img_frame.place(x=55,y=50)
# 創建文本視窗，顯示當前操作8狀態
in_lable=tk.Label(window,text='輸入層節點數：')
in_lable.pack()
in_lable.place(x=300,y=40)
var_inputs=tk.StringVar()
var_inputs.set('784')
entry_inputs=tk.Entry(window,textvariable=var_inputs,width=10)
entry_inputs.place(x=380,y=40)
hi_lable=tk.Label(window,text='隱藏層節點數：')
hi_lable.pack()
hi_lable.place(x=300,y=70)
var_hidden=tk.StringVar()
var_hidden.set('50')
entry_hidden=tk.Entry(window,textvariable=var_hidden,width=10)
entry_hidden.place(x=380,y=70)
out_lable=tk.Label(window,text='輸出層節點數：')
out_lable.pack()
out_lable.place(x=300,y=100)
var_outputs=tk.StringVar()
var_outputs.set('10')
entry_outputs=tk.Entry(window,textvariable=var_outputs,width=10)
entry_outputs.place(x=380,y=100)
rate_lable=tk.Label(window,text='學習率：')
rate_lable.pack()
rate_lable.place(x=300,y=130)
var_lrate=tk.StringVar()
var_lrate.set('0.1')
entry_lrate=tk.Entry(window,textvariable=var_lrate,width=10)
entry_lrate.place(x=380,y=130)
epochs_lable=tk.Label(window,text='訓練世代：')
epochs_lable.pack()
epochs_lable.place(x=300,y=160)
var_epochs=tk.StringVar()
var_epochs.set('5')
entry_epochs=tk.Entry(window,textvariable=var_epochs,width=10)
entry_epochs.place(x=380,y=160)
#訓練資料集按鈕
btn_train = tk.Button(window,text='構建網路',width=15, height=2,
command=craet_BPNN)
btn_train.pack()
btn_train.place(x=30,y = 210)
#測驗資料集按鈕
btn_test = tk.Button(window,text='訓練資料集',width=15, height=2,
command=beg_train)
btn_test.pack()
btn_test.place(x=170,y=210)
# 創建打開影像按鈕
btn_Open = tk.Button(window,
text='測驗資料集', # 顯示在按鈕上的文字
width=15, height=2,
command=beg_test) # 點擊按鈕式執行的命令
btn_Open.pack()
# 按鈕位置
btn_Open.place(x=310,y=210)
# 創建顯示影像按鈕
btn_Show = tk.Button(window,
text='打開測驗圖片', # 顯示在按鈕上的文字
width=15, height=2,
command=Open_Img) # 點擊按鈕式執行的命令
btn_Show.pack()
# 按鈕位置
btn_Show.place(x=450,y=210)
# 運行整體視窗
window.mainloop()
pass
以上代碼實作了GUI的撰寫，讓用戶自行從檔案中讀取圖片并識別，并由網路給出識別結果，因為GUI比較繁瑣，所以代碼看起來偏長，不過和最終效果比起來，這點付出是值得的，我們的功能也已經實作完畢了，接下來就看一下具體效果了，
實作效果
這是程式運行時的界面，可以對引數進行自定義的輸入
在Pycharm的控制臺界面也能看到每張圖片的識別結果，1是識別正確，0是識別錯誤，可以看到識別的正確率還是挺高的，由97%，
這里是用戶自行選擇圖片進行識別，可以自己寫然后進行識別，但前提是影像尺寸必須是28X28，如果尺寸打了就必須對其進行池化到28X28的大小，否則就會導致輸入引數量巨大（幾萬乃至幾十萬個輸入引數），那就不是BP神經網路可以解決的問題了，就必須要用到卷積深度神經網路進行特征提取再來分類了，
可以看到，我們建立的神經網路已經成果的識別了我們手寫的數字了，我們的目標成功了！
到這里，我們就成功的建立了一個神經網路了，可以說是實作了最基本的人工智能，但要明白，這只是人工智能中最基礎的部分，要想實作真正的強人工智能，我們還有很長的路要走，但現階段，不管復雜還是簡單的神經網路，都是基于這個網路衍生而來的，所謂萬變不離其宗，萬丈高樓從地起，一步一步來，終有一天會達到我們心中的目標的，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/429285.html
標籤：AI
下一篇：推薦演算法架構1：召回