??本博文為由星火燎原研發中心推出的基于MATLAB的車牌識別專案的配套解釋博文，主要介紹各步驟演算法的原理及用到的函式，方便大家快速理解該程式的作業原理，并在此基礎上進行修改或者二次開發，該程式或者專案的使用方法，二次開發的方法，及注意事項見B站視頻講解
一：GUI界面預覽
二：選擇圖片
??使用uigetfile函式打開一個模態對話框，其中列出了當前檔案夾中的檔案，在這里選擇或輸入檔案的名稱，選擇檔案點擊打開時，uigetfile將回傳檔案名，如果點擊取消或視窗關閉按鈕 (X)，uigetfile 將回傳 0，：
??對應的GUI界面如下：
三：預處理
??（1）灰度化
??使用Rgb2gray函式將 RGB 影像或顏色圖轉換為灰度圖，影像預處理的第一步是影像灰度化處理，該步驟使影像占用空間減少，灰度化處理結束后輸出灰度化影像與灰度直方圖：
??對應的GUI界面如下：
??（2）邊緣檢測
??使用edge函式進行邊緣檢測，在使用edge函式時可以指定要檢測的邊緣的方向，Sobel 和 Prewitt 方法可以檢測垂直方向和/或水平方向的邊緣，Roberts 方法可以檢測與水平方向成 45 度角和/或 135 度角的邊緣，經過分析和實踐，使用Sobel方法效果較好，該函式的第三個引數為二值化閾值，把比該值大的置為1
?? 為了在GUI中方便除錯，我們把邊緣檢測的閾值設定為一個變數edit2_aa，該變數的值可以通過GUI中的文本框進行設定，如下所示：
??對應的GUI界面如下：
四：車牌定位
??（1）影像腐蝕
??使用imerode() 函式進行影像腐蝕，來去除上一步邊緣檢測后遺留的噪聲點， J = imerode(I,SE) 腐蝕灰度影像、二值影像或壓縮二值影像 I，回傳腐蝕影像 J，其中SE 是結構元素物件或結構元素物件的陣列，由 strel 或 offsetstrel 函式回傳，本列中由strel函式回傳結構元素SE，
??為方便在GUI中進行除錯，矩形結構元素的行數由GUI中可編輯文本框輸入，默認為2，列數固定為1
??對應的GUI界面如下：
??可以發現經過影像腐蝕后，去除了除車牌外的干擾點
??（2）平滑處理
??使用 imclose函式，即閉運算：用結構元素對影像先膨脹，再腐蝕，對影像進行平滑處理，閉運算可以用來融合窄的缺口和細長的彎口，去掉小洞，填補輪廓上的縫隙
??本部分的結構元素采用一個大小為 [n n] 的矩形結構，其中矩形結構的行數及列數由GUI的可編輯文本框進行設定
??對應的GUI界面如下：
??可以發現經過平滑處理后，覆寫的區域跟車牌區域吻合度更好了，便于車牌的定位和切割
??（3）移除物件
??使用bwareaopen 函式可以用于從二值影像中洗掉小物件，該函式使用格式為 BW2 = bwareaopen(BW,P) 從二值影像 BW 中洗掉少于 P 個像素的所有連通分量（物件）并生成另一個二值影像 BW2，此運算稱為面積開運算，
?? 為GUI方便除錯，我將bwareaopen函式的第二個引數，通過GUI可編輯文本框輸入，并進行除錯
??對應的GUI界面如下：
??由于前一步的平滑處理后并沒有小區域，所以對此步而言，效果并不明顯，
–
??（4）定位剪切
??對應的GUI界面如下：
??可以發現通過前面的邊緣處理、影像腐蝕、平滑處理、移除物件等操作，影像裁剪效果較好，
五：車牌識別
??（1） 灰度處理
??對原影像進行車牌定位，并把車牌裁剪出來后，要重新進行灰度處理，便于后續的操作，
??對應的GUI界面如下：
??（2） 直方圖均衡化
??使用 histeq 函式進行直方圖均衡化來增強對比度 其函式使用格式為J = histeq(I,n) 其中I為變換灰度影像，J為輸出灰度影像，它具有 n 個 bin 的直方圖大致平坦，為方便除錯，我們將n的值通過GUI的可編輯文本框進行輸入
??對應的GUI界面如下：
??（3） 二值化影像
??使用 imbinarize函式進行二值化 ，通過閾值化將二維灰度影像或三維體二值化 ，該函式通過將所有高于全域閾值的值替換為 1 ，并將所有其他值設定為 0，從二維或三維灰度影像 I 創建二值影像， 在默認情況下，imbinarize 使用 Otsu 方法，該方法選擇特定閾值來最小化閾值化的黑白像素的類內方差
?? imbinarize(I,T) 使用閾值 T 從影像 I 創建二值影像，T 可以是指定為標量亮度值的全域影像閾值，也可以是指定為亮度值矩陣的區域自適應閾值 ，為方便除錯，我們將T的值通過GUI的可編輯文本框進行輸入，
??對應的GUI界面如下：
??（4） 移除物件
??使用bwareaopen 函式可以用于從二值影像中洗掉小物件，該函式使用格式為 BW2 = bwareaopen(BW,P) 從二值影像 BW 中洗掉少于 P 個像素的所有連通分量（物件）并生成另一個二值影像 BW2，此運算稱為面積開運算，
?? 為GUI方便除錯，我將bwareaopen函式的第二個引數，通過GUI可編輯文本框輸入，并進行除錯
?? 進行此步驟的目的是去除裁剪后車牌的白邊和噪聲點、干擾點等對后續字符切割造成干擾的資訊
??對應的GUI界面如下：
?? 通過對比，可以明顯的觀察到，經過車牌識別移除物件操作，很好的去除了B和8之間的圓點，這個圓點如果不去除，對后續的裁剪將會造成很大的干擾，除此之外，位于車牌輪廓的白線及其他噪聲點也被消除掉了，經過此步后，車牌內容只剩下要識別的七個字符，對后續的裁剪打下來良好的基礎，
??（5） 中值濾波
??使用 medfilt2 函式進行二維中位數濾波， 其格式為 J = medfilt2(I,[m n]) 執行中位數濾波時，其中每個輸出像素包含輸入影像中對應像素周圍的 m×n 鄰域中的中位數值，
??在此處添加該步驟并不是為了濾除孤立的噪聲點，僅僅是為了將影像字符的邊界進行平滑處理，屬于對影像的優化操作，若前面的步驟進行的較好，則本步驟的作用并不明顯，因此，在操作時可以根據需要靈活選擇是否跳過該步驟，
??對應的GUI界面如下：
?? 通過對比，可以明顯的觀察到，經過車牌識別移除物件操作，很好的去除了B和8之間的圓點，這個圓點如果不去除，對后續的裁剪將會造成很大的干擾，除此之外，位于車牌輪廓的白線及其他噪聲點也被消除掉了，經過此步后，車牌內容只剩下要識別的七個字符，對后續的裁剪打下來良好的基礎，
?? （6） 影像切割（本部分程式較長，就不放了，見工程檔案435-528行，及my_imsplit函式）
??該步驟進行的操作及思路為：首先讀取經過中值濾波后的影像資料，呼叫我們寫的my_imsplit函式，對影像進行初步裁剪，在該函式中，依次進行了：獲取影像的大小、獲取字符的頂部位置、獲取字符的底部位置、獲取字符的左邊界、獲取字符的右邊界、得到寬和高、裁剪等步驟
??其中在通過size函式得到影像的尺寸資訊后，從第一行開始按行向下搜索，找到第一個行像素和非零的行作為圖片的頂部位置，然后從左后一行，向上搜索，找到第一個行像素和非零的行作為圖片的底部位置，同理和獲得左邊界和右邊界
??為了方便后續識別，我們在找出的上下邊界的基礎上，向上和向下各拓展了10個像素（若疊加后不超出邊界）
??之后的到裁剪后的寬度和高度，呼叫MATLAB的imcrop函式，對影像進行裁剪，該函式用于回傳影像的一個裁剪區域，該函式的第一個引數為需要裁減的影像，第二個引數為一個包含四個元素的行向量，其中第一個和第二個元素為裁剪的左上角的坐標點，第三第四個元素為裁剪后的寬度和高度
??回到主函式檔案中，在裁剪完成后進行的操作是第一個字符的切割，首先通過找到第一個像素和非零的列，來作為第一個字符的左邊界，在此基礎上繼續向右搜索，找到第一個像素和為零的列，作為右邊界，接下來通過找到的該字符的寬度與車牌整體寬度的比值來判斷是否裁剪例外，若例外則選取左右邊界內像素和最小的列作為右邊界，并將其置零，并進行多項例外檢測與糾正，
??每裁剪出一個字符，就將車牌中其對應位置的像素均清零，方便后續搜尋
??同理可以得到后面的六個字符，將裁剪后的字符的大小統一制定為[40 20]，進行保存，并繪制出影像
??其切割效果如下：：
?? 可以發現切割效果較好
?? （7）模板匹配
??我們將要識別的字符放置到一個字串中，該字串的第1到第10的元素存放數字0到9，第11到34的元素存放字母A~Z（除I和O），第35個存放漢字魯
??對于每個字符，我們首先讀取之前裁剪出的車牌字符，并調整圖片的大小，進行二值化處理，對于第一個字符設定其搜索范圍為35，第二個字符搜索范圍為11到34，其余的字符搜索范圍為1到34
?? 接著讀取字符庫的圖片模板跟車牌中裁剪出的字符進行匹配，此處的匹配我們用了兩種方法，基礎方法是對比兩張圖片的每一個像素點，統計其不相等的像素個數，并將相似度最高的模板作為識別結果，并將識別的結果通過msgbox函式進行展示
??識別結果為：
六：結果轉換
?? （1） 車牌模板匹配
??IDFind函式的作用是，輸入一個字串，也就是識別出的車牌，將其與模板庫里的車牌進行匹配，尋找相似度最高的一個作為匹配結果，其中IDLib用來存放需要匹配的車牌號與其對應的隱含資訊等，該函式回傳量依次為，匹配的車牌號、設定的其他隱含資訊
?? （2） 生成二維碼
??該部分用于識別的車牌匹配出的數字資訊轉換成二維碼進行顯示，包含了要求的灰度二維碼以及拓展提高的QR二維碼
?? 其中QRcode函式用來生成QR二維碼，其代碼如下：
?? 其中graycode函式用來生成灰度二維碼，其代碼如下：
?? 灰度二維碼的轉換程序為：將匹配的數字資訊傳入該函式，對每一個學號進行提取，并按比例放縮到0 ~ 255像素之間，也就是轉換成灰度值進行顯示，將0 ~ 255劃分成10部分依次對應數字0~10，
?? 對應的GUI界面如下：
七：拓展提高–使用神經網路進行車牌識別
?? （1） 網路訓練（該部分程式較長，就不放了，見工程檔案BP_train.m）
?? 將已有的切割出的N個車牌字符作為輸入量，其對應的正確的識別字符在licode中的索引值作為輸出值進行網路訓練，首先我們需要挨個讀入字符照片（40x20），然后將其通過sum（：2）轉換為列向量，這樣最終得到的40xN打的矩陣作為訓練網路的輸入值，其中N為訓練的字符個數，調節好神經網路的引數后，對網路進行資料進行歸一化處理，并呼叫網路進行網路訓練，將訓練好的網路通過save命令進行保存，同時兩個歸一化引數也需要保存，供后續識別使用
?? （2） 呼叫訓練好的網路進行車牌識別
?? 其中BP_NET()函式用來呼叫訓練好的網路進行識別，其代碼見工程檔案BP_NET.m，在BP_NET()函式中，首先要讀取訓練好的網路及歸一化變數，對讀入的每個切割出的字符要進行處理，將其轉換為40x1的列向量，每次車牌識別需要識別六個字符（魯字不識別），最終得到的40x6的陣列作為輸入量進行網路預測，呼叫網路進行預測，將預測的車牌號作為回傳量進行輸出
?? （3） 演算法切換的實作
?? 其中BP_NET()函式用來呼叫訓練好的網路進行識別，其代碼見工程檔案BP_NET.m，在BP_NET()函式中，首先要讀取訓練好的網路及歸一化變數，對讀入的每個切割出的字符要進行處理，將其轉換為40x1的列向量，每次車牌識別需要識別六個字符（魯字不識別），最終得到的40x6的陣列作為輸入量進行網路預測，呼叫網路進行預測，將預測的車牌號作為回傳量進行輸出
?? 通過GUI界面的一個按鈕組進行演算法的選擇與切換，如下所示：
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/292602.html
標籤：其他
上一篇：Python，OpenCV中的K均值聚類——K-Means Cluster
下一篇：docker部署ubuntu18.04深度學習環境——cuda11.1、cudnn8.0.5、pytorch1.8.0