本文為課設論文：對于漢字數字的識別，模型搭建和代碼并不是難點，預處理才顯得重要和困難，雖然模型準確率能達到90%~95%，但是也存在沒解決的問題，
如有需要，可以私信提供完整代碼工程及其資料集，（tensorflow2搭建模型 pandas資料處理 matplotlib可視化顯示 ）

1選題背景

隨著時代的不斷進步和技術的發展，網路社交媒體的興起也帶來了影像資料的“爆炸性”增長，作為人們日常交流的主要方式之一，影像因其內容豐富，直觀等優點而被廣泛用作交流的載體，基于卷積神經網路的影像識別是影像識別領域中重要應用，通過使用影像進行特征值提取，識別和卷積等一系列演算法運算來識別和分析不同的影像，人工智能的飛速發展使得機器學習在其研究領域中越來越重要，使用演算法學習每條資料并預測結果，這已成為打開人工智能之門的重要鑰匙，在機器視覺中，影像識別是基礎，但是如何將影像中的低級資訊與高級影像語意相關聯成為影像識別的關鍵問題，

本文中所需要解決的問題是：針對含有若干漢字（0-10）的影像，能夠自動檢測并識別出影像中的漢字，

2卷積神經網路概述

卷積神經網路是在早些年提出的，近年來人工智能的快速發展使這種模型重新回到學者的視野，它在影像技術，生物醫學技術，工業生產等領域起著重要作用，神經網路的最早概念是由科學家在人類神經系統中擴展的，它模仿了人類神經系統并提出了神經網路的概念，從神經網路的概念出發，卷積神經網路得到了進一步的改進，該模型的出現為機器視覺帶來了好訊息，

我們選擇CNN卷積神經網路而不是選擇傳統機器學習方法在于卷積神經網路具備以下幾點優勢：首先CNN不需要人工去提取特征，傳統的機器學習需要人工提取特征.；其次傳統的機器學習表達能力有限，深度學習表達能力強；最后深度學習適合處理大資料，而資料量比較小的時候，用傳統機器學習方法也許更合適，

3主要主要工具庫說明

tensorflow2：我們選擇TensorFlow 2.0 替代1.0版本，在于代碼上的簡潔性，可用性和靈活性，可以極大程度上增快我們的開發效率，

使用numpy，pandas進行基本的資料挖掘與處理，

使用 matplotlib,cv2進行影像的讀取顯示，轉化處理，

4樣本資料獲取方式

資料網站：http://www.nlpr.ia.ac.cn/databases/handwriting/download.html

我們從網站中選擇了如上圖的四個部分的資料作為訓練資料和測驗資料，然后查詢數字漢字字符的GB2312編碼十進制格式，從所有漢字類別中選擇出漢字（0-10），

最終我們獲取0-10共11個類別，樣本數量如下：

5演算法實作

5.1圖片預處理

我們從訓練集中隨機選擇40張原始樣本圖片顯示如下：

緊接著我們判斷影像是RGB三通道，所以我們需要將RGB三通道影像轉為灰度，對影像進行灰度處理的同時我們Resize操作統一圖片尺寸為（32,32），結果如下：

此時圖片從三通道轉換成一通道，隨后設定閾值，對圖片進行二值化處理，得到如下圖：

我們可以明顯看出，數字特征更為明顯，并且像素點非0即1更有利于計算，同時我們考慮了進行腐蝕和膨脹，但從結果可知，對精度影響不大，在此不多做宣告，

5.2模型搭建

由于數字類別過于簡單，樣本特征比較明顯，初步沒有考慮使用經典卷積神經網路，例如AlexNet、VGG、GoogLeNet、ResNet，如果選擇了深層的經典神經網路那就意味著需要訓練更多的引數以及更多的樣本數量，如果后期的訓練結果不理想可以考慮使用，

開始我們搭建了兩個網路結構：

模型一：

在這個模型中，卷積核的大小都是33，步長都是采用默認的1，這是由于參考了經典模型vgg，兩個33的卷積等價與55的卷積，三個33的卷積等價與7*7的卷積，這樣的目的是為了減少訓練引數的引數，同時增加層數可以提高分類結果的精度，但絕對不是層數越多效果一定越好，在RetNet模型論文中有提到可能產生退化問題，但是本模型的深度遠遠達不到，無需擔心，模型中使用的激活函式都是relu，

具體引數使用如上表所示，我們可以將模型一稱為五層結構：

• 1.第一層：兩個3*3的卷積核進行卷積，
• 2.第二層：最大池化（在AlexNet經典模型論文有提到，平均池化更為模糊，所以這邊選擇了最大池化），
• 3.第三層：三個3*3的卷積核進行卷積，
• 4.第四層：最大池化操作，
• 5.第五層：兩次全連接+Dropout 防止過擬合，

在第二個模型中，我們進行了三次卷積，兩次最大池化，兩次全連接以及Dropout 防止過擬合，具體引數使用如下表，

6結果說明

6.1 原始圖形樣本訓練結果

模型一訓練結果如下：

模型一 訓練集和測驗集的損失率及準確率迭代變化如下圖：

我們隨機取40個樣本進行測驗展示，其中紅色標簽為預測錯誤，結果如下圖（補充說明：顯示的為預處理后的影像）：

模型二的訓練結果如下：

模型二訓練集和測驗集的損失率及準確率迭代變化如下圖：

我們隨機取40個樣本進行測驗展示，其中紅色標簽為預測錯誤，結果如下圖：

總而言之，兩個模型的預測準確率都能達到95%的準確率以上，無明顯的差別，說明模型的網路結構較為合理，

6.1 手寫體樣本訓練結果

我們分別在平板和手寫紙上分別寫了11個漢字（0-10），原始圖樣如下：

對所有漢字進行裁剪、預處理和放入模型預測，模型一預測結果如下，達到了20/22的準確率，結果如下：

模型二的預測結果如下，達到了21/22的準確率，結果顯示如下：

7設計中遇到的困難

7.1已解決

1、gnt格式轉換成png格式，同時修改代碼直接獲取0-10漢字，

7.2未解決

1、對于漢字的裁剪，自己使用的方法比較簡單，直接對二值化后的圖片橫向和縱向進行裁剪，局限性很高，如果漢字帶有偏旁或者‘八’這種會被識別成兩個部分，同時如果紙張傾斜也會造成錯誤，考慮了很多方法，但都存在缺陷
2、雖然懂得膨脹和腐蝕的使用，但是沒有發現在這個題目中多大的用處，

8附錄

8.1資料集的獲取

import os
import numpy as np
import struct
from PIL import Image
# data檔案夾存放轉換后的.png檔案
data_dir = 'E:/檔案//手寫漢字識別/data'
# 路徑為存放資料集解壓后的.gnt檔案
train_data_dir = os.path.join(data_dir, 'E:/1_人工智能課設/1')
#test_data_dir = os.path.join(data_dir, 'E:/1_人工智能課設/test_gnt')
print(train_data_dir)
#print(test_data_dir )
def read_from_gnt_dir(gnt_dir=train_data_dir):
    def one_file(f):
        header_size = 10
        while True:
            header = np.fromfile(f, dtype='uint8', count=header_size)
            if not header.size: break
            sample_size = header[0] + (header[1] << 8) + (header[2] << 16) + (header[3] << 24)
            tagcode = header[5] + (header[4] << 8)
            width = header[6] + (header[7] << 8)
            height = header[8] + (header[9] << 8)
            if header_size + width * height != sample_size:
                break

            image = np.fromfile(f, dtype='uint8', count=width * height).reshape((height, width))
            yield image, tagcode
    i=0
    for file_name in os.listdir(gnt_dir):
        print(i)
        if file_name.endswith('.gnt'):
            file_path = os.path.join(gnt_dir, file_name)
            with open(file_path, 'rb') as f:
                for image, tagcode in one_file(f):
                    if((tagcode==49635) or (tagcode==53947) or (tagcode==46846) or (tagcode ==51453) or (tagcode ==52164) or (tagcode ==52965) or (tagcode ==49657) or (tagcode ==50911) or (tagcode ==45259) or (tagcode ==48837) or (tagcode ==51886)):
                        yield image, tagcode


char_set = set()
c=2
for _, tagcode in read_from_gnt_dir(gnt_dir=train_data_dir):
    print(c)
    tagcode_unicode = struct.pack('>H', tagcode).decode('gb2312','ignore')
    char_set.add(tagcode_unicode)
char_list = list(char_set)
char_dict = dict(zip(sorted(char_list), range(len(char_list))))
print(len(char_dict))
print("char_dict=", char_dict)

import pickle

f = open('char_dict', 'wb')
pickle.dump(char_dict, f)
f.close()
train_counter = 0
test_counter = 0
b=1
for image, tagcode in read_from_gnt_dir(gnt_dir=train_data_dir):
    print(b)
    tagcode_unicode = struct.pack('>H', tagcode).decode('gb2312','ignore')
    im = Image.fromarray(image)
# 路徑為data檔案夾下的子檔案夾，train為存放訓練集.png的檔案夾  
    dir_name = 'E:/1_人工智能課設/2/' + '%0.5d' % char_dict[tagcode_unicode]
    if not os.path.exists(dir_name):
        os.mkdir(dir_name)
    im.convert('RGB').save(dir_name + '/' + str(train_counter) + '.png')
    print("train_counter=", train_counter)
    train_counter += 1

8.2 模型一（分割+搭建）

8.2 模型二

需要完整代碼工程及資料，可私信，
如有錯誤，歡迎指出，