基于TensorFlow的車牌識別系統設計與實作，運用tensorflow和OpenCV的相關技術，實作車牌的定位、車牌的二值化、車牌去噪增強、圖片的分割，模型的訓練和車牌的識別等
目錄
環境準備
思路流程
功能描述
細節闡述
專案總體框架
程序展示
技術簡介
一、Tensorflow
二、OpenCV
系統設計
專案實作
最后
環境準備
Anaconda 4.10.3
Tensorflow 2.6.0
python3.7.8
coding: utf-8
pycharm解釋器：D:\Anaconda\envs\tensorflow\python.exe
以及各種第三方庫
思路流程
1、將圖片通過opencv切割識別定位車牌，切割保存
2、識別省份簡稱、識別城市代號、識別車牌編號
功能描述
car_num_main.py :將圖片轉為灰度影像，灰度影像二極化，分割影像并分別保存為.jpg和.bmp檔案
train-license-province.py : 省份簡稱訓練識別
train-license-letters.py :城市代號訓練識別
train-license-digits.py :車牌編號訓練識別四個核心程式下載
細節闡述
1、圖片切割后分別保存在兩個檔案夾./img_cut and ./img_cut_not_3240
2、識別車牌需進入終端，在命令列中進入腳本所在目錄，
輸入執行如下命令：python train-license-province.py train 進行省份簡稱訓練
輸入執行如下命令：python train-license-province.py predict 進行省份簡稱識別
輸入執行如下命令：python train-license-letters.py train 進行城市代號訓練
輸入執行如下命令：python train-license-letters.py predict 進行城市代號識別
輸入執行如下命令：python train-license-digits.py train 進行車牌編號訓練
輸入執行如下命令：python train-license-digits.py predict 進行車牌編號識別
3、將要識別的圖片調為.jpg格式,大小調為像素600*413最佳，可依據代碼酌情除錯
4、具體可以準確識別的車牌號參見資料集中訓練集
專案總體框架
capture_img ：存放將要識別的車牌圖片
img_cut：運行car_num_main.py后生成切割后的圖片
img_cut_not_3240 ：運行 car_num_main.py 后生成切割后的圖片（對比度加強）
test_images：存放測驗圖片
train_images: 存放訓練圖片
train-saver： 訓練模型
程序展示
PS D:\pycharm\pycharm_work> cd .\chepai\
PS D:\pycharm\pycharm_work\chepai> python train-license-province.py train
PS D:\pycharm\pycharm_work\chepai> python train-license-province.py predict
PS D:\pycharm\pycharm_work\chepai> python train-license-digits.py predict
技術簡介
一、Tensorflow
TensorFlow是一個開放源代碼軟體庫，用于進行高性能數值計算，借助其靈活的架構，用戶可以輕松地將計算作業部署到多種平臺（CPU、GPU、TPU）和設備（桌面設備、服務器集群、移動設備、邊緣設備等），
TensorFlow 是一個用于研究和生產的開放源代碼機器學習庫，TensorFlow 提供了各種 API，可供初學者和專家在桌面、移動、網路和云端環境下進行開發，
TensorFlow是采用資料流圖（data flow graphs）來計算,所以首先我們得創建一個資料流流圖,然后再將我們的資料（資料以張量(tensor)的形式存在）放在資料流圖中計算，節點（Nodes）在圖中表示數學操作,圖中的邊（edges）則表示在節點間相互聯系的多維資料陣列, 即張量（tensor)，訓練模型時tensor會不斷的從資料流圖中的一個節點flow到另一節點，
二、OpenCV
OpenCV是一個基于BSD許可（開源）發行的跨平臺計算機視覺和機器學習軟體庫，可以運行在Linux、Windows、Android和Mac OS作業系統上，它輕量級而且高效——由一系列 C 函式和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的介面，實作了影像處理和計算機視覺方面的很多通用演算法，
OpenCV提供的視覺處理演算法非常豐富，并且它部分以C語言撰寫，加上其開源的特性，處理得當，不需要添加新的外部支持也可以完整的編譯鏈接生成執行程式，所以很多人用它來做演算法的移植，OpenCV的代碼經過適當改寫可以正常的運行在DSP系統和ARM嵌入式系統中，其應用領域諸如：人機互動，物體識別，影像分割，人臉識別，動作識別，運動跟蹤，機器人，運動分析，機器視覺，結構分析，汽車安全駕駛等領域，
系統設計
車牌自動識別是以計算機視覺處理、數字影像處理、模式識別等技術為基礎，對攝像機所拍攝的車輛影像或者視頻影像進行處理分析，得到每輛車的車牌號碼，從而完成識別的程序，在此基礎上，可實作停車場出入口收費管理、盜搶車輛管理、高速公路超速自動化管理、闖紅燈電子警察、公路收費管理等各種交通監管功能，
一、系統處理流程
車牌自動識別系統的設計包含車輛影像獲取、車牌區域定位、車牌特征輪廓提取和車牌內容識別環節，
二、車牌獲取
車牌影像獲取是進行車牌識別的首要環節，車牌影像可以從攝像機拍攝的車輛影像或者視頻影像中進行抽取，車牌影像的獲取也可由用戶手機拍攝后傳入車牌識別系統，
三、灰度影像生成
攝像機拍攝的含有車牌資訊的車輛影像是彩色的，為了提高車牌識別的抗外界干擾的能力，先將彩色車輛影像生成二值的灰度影像，實作基于色調的車牌區域定位，由于國內的車牌往往是藍底白字，因此，可以利用影像的色調或者色彩飽和度特征，生成二值灰度影像，從而實作更加準確地定位車牌位置，
四、車牌區域定位
車牌區域的定位采用基于形狀的方法，由于車輛影像背景比較復雜，所以應該根據車牌的特征進行初次篩選，車牌的特征可以選擇中國車牌的大小、比例特征，因為車牌都是固定的矩形形狀，通過首先尋找影像上擁有矩形特征的區域，然后再抽取這些區域，再結合車牌的長寬的比例特征可以篩選出相應的矩形區域，從而實作對車牌的準確定位，
五、特征輪廓提取
OpenCV 與 Python 的介面中使用 cv2.fifindContours() 函式來查找檢測物體的輪廓，
圖3 和 圖4 為特征輪廓提取前后的效果對比圖 ：
六、車牌內容識別
車牌內容識別時，通過計算候選車牌區域藍色數值（均值）的最大值，確定最終的車牌區域，對于選定的車牌輪廓，首先進行粗定位，即對車牌進行左右邊界回歸處理，去除車牌兩邊多余的部分，然后進行精定位，即將車牌送入 CRNN 網路進行字符識別，利用左右邊界回歸模型，預測出車牌的左右邊框，進一步裁剪，進行精定位，基于文字特征的方法是根據文字輪廓特征進行識別，經過相應的演算法決議，得到結果，
專案實作
核心代碼展現
一、檢測車牌
def find_car_num_brod():
watch_cascade = cv2.CascadeClassifier('D:\pycharm\pycharm_work\chepai\cascade.xml')
# 先讀取圖片
image = cv2.imread("D:\pycharm\pycharm_work\chepai\capture_img\car1.jpg")
resize_h = 1000
height = image.shape[0]
scale = image.shape[1] / float(image.shape[0])
image = cv2.resize(image, (int(scale * resize_h), resize_h))
image_gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
watches = watch_cascade.detectMultiScale(image_gray, 1.2, 2, minSize=(36, 9), maxSize=(36 * 40, 9 * 40))
print("檢測到車牌數", len(watches))
for (x, y, w, h) in watches:
cv2.rectangle(image, (x, y), (x + w, y + h), (0, 0, 255), 1)
cut_img = image[y + 5:y - 5 + h, x + 8:x + w] # 裁剪坐標為[y0:y1, x0:x1]
cut_gray = cv2.cvtColor(cut_img, cv2.COLOR_RGB2GRAY)
cv2.imwrite("D:\pycharm\pycharm_work\chepai\\num_for_car.jpg", cut_gray)
im = Image.open("D:\pycharm\pycharm_work\chepai\\num_for_car.jpg")
size = 720, 180
mmm = im.resize(size, Image.ANTIALIAS)
mmm.save("D:\pycharm\pycharm_work\chepai\\num_for_car.jpg", "JPEG", quality=90)
break二、二值化影像
def cut_car_num_for_chart():
# 1、讀取影像，并把影像轉換為灰度影像并顯示
img = cv2.imread("D:\pycharm\pycharm_work\chepai\\num_for_car.jpg") # 讀取圖片
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 轉換了灰度化
cv2.imshow('gray', img_gray) # 顯示圖片
cv2.waitKey(0)
# 2、將灰度影像二值化，設定閾值是100 轉換后 白底黑字 ---》 目標黑底白字
img_thre = img_gray
# 灰點 白點 加錯
# cv2.threshold(img_gray, 130, 255, cv2.THRESH_BINARY_INV, img_thre)
# 二值化處理 自適應閾值 效果不理想
# th3 = cv2.adaptiveThreshold(img_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
# 高斯除噪 二值化處理
blur = cv2.GaussianBlur(img_gray, (5, 5), 0)
ret3, th3 = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
cv2.imshow('threshold', th3)
cv2.imwrite('D:\pycharm\pycharm_work\chepai\wb_img.jpg', th3)
cv2.waitKey(0)第一行imread()，由于flag設為1所以讀的是彩圖，采用cvtColor函式轉化為灰度圖，如果你讀入就是灰度圖可以省略第二行代碼，然后轉化為二值化函式，閾值180可以修改，后經過增強處理，效果如圖所示：
三、單字符切割
單字符分割主要策略就是檢測列像素的總和變化，因為沒有字符的區域基本是黑色，像素值低；有字符的區域白色較多，列像素和就變大了！
列像素變化的閾值是個問題，看到很多博客是固定的閾值進行檢測，除非你處理后的二值化影像非常完美，不然有的圖片混入了白色區域就會分割錯誤！
考慮到車牌中只有7個字符，所以先判斷得到寬度大小，如果小于總寬的七分之一視為干擾放棄；其實也可以加大到總寬的8分之一（因為車牌中間可能有連接符），
n = 1
start = 1
end = 2
temp = 1
while n < width - 2:
n += 1
if (white[n] if arg else black[n]) > (0.05 * white_max if arg else 0.05 * black_max):
# 上面這些判斷用來辨別是白底黑字還是黑底白字
# 0.05這個引數請多調整，對應上面的0.95
start = n
end = find_end(start, white, black, arg, white_max, black_max, width)
n = end
# 車牌框檢測分割 二值化處理后 可以看到明顯的左右邊框 畢竟用的是網路開放資源 所以車牌框定位角度真的不準，
# 所以我在這里截取單個字符時做處理，就當亡羊補牢吧
# 思路就是從左開始檢測匹配字符，若寬度（end - start）小與20則認為是左側白條 pass掉 繼續向右識別，否則說明是
# 省份簡稱，剪切，壓縮 保存，還有一個當后五位有數字 1 時，他的寬度也是很窄的，所以就直接認為是數字 1 不需要再
# 做預測了（不然很窄的 1 截切 壓縮后寬度是被拉伸的），
# shutil.copy()函式是當檢測到這個所謂的 1 時，從樣本庫中拷貝一張 1 的圖片給當前temp下標下的字符
if end - start > 5: # 車牌左邊白條移除
print(" end - start" + str(end - start))
if temp == 1 and end - start < 20:
pass
elif temp > 3 and end - start < 20:
# 認為這個字符是數字1 copy 一個 32*40的 1 作為 temp.bmp
shutil.copy(
os.path.join("D:\pycharm\pycharm_work\chepai\fuzhi", "111.bmp"), # 111.bmp 是一張 1 的樣本圖片
os.path.join("D:\pycharm\pycharm_work\chepai\\img_cut\\", str(temp) + '.bmp'))
pass
else:
cj = th3[1:height, start:end]
cv2.imwrite("D:\pycharm\pycharm_work\chepai\img_cut_not_3240\\" + str(temp) + ".jpg", cj)
im = Image.open("D:\pycharm\pycharm_work\chepai\img_cut_not_3240\\" + str(temp) + ".jpg")
size = 32, 40
mmm = im.resize(size, Image.ANTIALIAS)
mmm.save("D:\pycharm\pycharm_work\chepai\img_cut\\" + str(temp) + ".bmp", quality=95)
temp = temp + 1
車牌的切割效果如圖所示：
四、單字符識別
max1 = 0
max2 = 0
max3 = 0
max1_index = 0
max2_index = 0
max3_index = 0
for j in range(NUM_CLASSES):
if result[0][j] > max1:
max1 = result[0][j]
max1_index = j
continue
if (result[0][j] > max2) and (result[0][j] <= max1):
max2 = result[0][j]
max2_index = j
continue
if (result[0][j] > max3) and (result[0][j] <= max2):
max3 = result[0][j]
max3_index = j
continue
license_num = license_num + LETTERS_DIGITS[max1_index]
print("概率： [%s %0.2f%%] [%s %0.2f%%] [%s %0.2f%%]" % (
LETTERS_DIGITS[max1_index], max1 * 100, LETTERS_DIGITS[max2_index], max2 * 100, LETTERS_DIGITS[max3_index],
max3 * 100))
print("車牌編號是: 【%s】" % license_num)最終效果如圖所示：
注：此圖為以下三個程式的運行結果圖，我將圖片拼接到一塊了，，
train-license-province.py : 省份簡稱訓練識別
train-license-letters.py :城市代號訓練識別
train-license-digits.py :車牌編號訓練識別
最后
車牌識別做不到100%識別成功，但通過訓練已經基本可以達到95%以上的識別度，可以將capture_img檔案中的圖片（注意圖片格式與大小會間接影響識別度，車牌名改為 car1.jpg）替換為自己的車牌照通過訓練進行識別車牌照，
程式框架點此下載
只需要將以上的 test_images，train_images，train-saver，以及四個核心程式按照專案總體框架圖放進來即可（文中標紅的為下載鏈接）
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/438071.html
標籤：AI
上一篇：你的2022屆暑假實習都怎樣了？
下一篇：python中使用squarify包可視化treemap圖：treemap將分層資料顯示為一組嵌套矩形，每一組都用一個矩形表示，該矩形的面積與其值成正比、自定義設定每一個資料格的顏色