【OpenCV學習】（十三）機器學習

背景

OpenCV中也提供了一些機器學習的方法，例如DNN；本篇將簡單介紹一下機器學習的一些應用，對比傳統和前沿的演算法，能從其中看出優劣；

一、人臉識別

主要有以下兩種實作方法：

1、哈爾（Haar）級聯法：專門解決人臉識別而推出的傳統演算法；

實作步驟：

• 創建Haar級聯器；
• 匯入圖片并將其灰度化；
• 呼叫函式介面進行人臉識別；

函式原型：

detectMultiScale（img，scaleFactor，minNeighbors）

• scaleFactor：縮放尺寸；

• minNeighbors：最小像素值；

代碼案例：

# 創建Haar級聯器
facer = cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')
# 匯入人臉圖片并灰度化
img = cv2.imread('p3.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 呼叫介面
faces = facer.detectMultiScale(gray, 1.1, 5)

for (x,y,w,h) in faces:
    cv2.rectangle(img, (x,y), (x+w, y+h), (0,0,255), 2)

cv2.imshow('img', img)
cv2.waitKey()

結論：Haar級聯法對于完整臉部的檢測效果還是不錯的，但對于不完整臉部識別效果差，這可能也是傳統演算法的一個缺陷所在，泛化能力比較差；

拓展：Haar級聯器還可以對臉部中細節特征進行識別

代碼如下：

# 創建Haar級聯器
facer = cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')
eyer = cv2.CascadeClassifier('./haarcascades/haarcascade_eye.xml')
# 匯入人臉圖片并灰度化
img = cv2.imread('p3.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 呼叫介面
faces = facer.detectMultiScale(gray, 1.1, 5)
i = 0
for (x,y,w,h) in faces:
    cv2.rectangle(img, (x,y), (x+w, y+h), (0,0,255), 2)
    ROI_img = img[y:y+h, x:x+w]
    eyes = eyer.detectMultiScale(ROI_img, 1.1, 5)
    for (x,y,w,h) in eyes:
        cv2.rectangle(ROI_img, (x,y), (x+w, y+h), (0,255,0), 2)
    i += 1
    name = 'img'+str(i)
    cv2.imshow(name, ROI_img)
cv2.waitKey()

總結：Haar級聯器提供了多種臉部屬性的識別，眼睛鼻子嘴巴都可以，但效果不一定那么準確；

二、車牌識別

結構：Haar+Tesseract車牌識別；

說明：Haar級聯器僅用于定位車牌的位置，Tesseract用于提取其中的內容；

實作步驟：

1、Haar級聯器定位車牌位置；

2、車牌預處理操作（二值化、形態學、濾波去噪、縮放）；

3、呼叫Tesseract進行文字識別；

注意：這里需要預先安裝Tesseract；

代碼案例：

import pytesseract
# 創建Haar級聯器
carer = cv2.CascadeClassifier('./haarcascades/haarcascade_russian_plate_number.xml')
# 匯入人臉圖片并灰度化
img = cv2.imread('chinacar.jpeg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 呼叫介面 
cars = carer.detectMultiScale(gray, 1.1, 3)
for (x,y,w,h) in cars:
    cv2.rectangle(img, (x,y), (x+w, y+h), (0,0,255), 2)
# 提取ROI
roi = gray[y:y+h, x:x+w]
# 二值化
ret, roi_bin = cv2.threshold(roi, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
# 文字識別
pytesseract.pytesseract.tesseract_cmd = r"D:\Tesseract_OCR\tesseract.exe"
text = pytesseract.image_to_string(roi, lang='chi_sim+eng',config='--psm 8 --oem 3')
print(text)
cv2.putText(img, text, (20,100), cv2.FONT_HERSHEY_SIMPLEX, 2, (0,0,255), 3)
cv2.imshow('img', img)
cv2.waitKey()

結論：車牌的位置檢測比較準確，但Tesseract的識別并不那么準確，可能用ORC識別會準確一些；當然識別的準確率也和影像處理后比較模糊有關，做一些處理能夠提升文字的識別率；

三、DNN影像分類

DNN為深度神經網路，并且是全連接的形式；

注意：OpenCV能夠使用DNN模型，但并不能訓練；

DNN使用步驟：

• 讀取模型，得到網路結構；
• 讀取資料（圖片或視頻）
• 將圖片轉成張量，送入網路；
• 模型輸出結果；

函式原型：

匯入模型：readNet（model，[config]）

影像轉張量：blobFromImage（image，scalefactor，size，mean，swapRB，crop）

送入網路：net.setInput（blob）

模型推理：net.forward（）

代碼案例：

# 匯入模型
config = "./model/bvlc_googlenet.prototxt"
model = "./model/bvlc_googlenet.caffemodel"
net = dnn.readNetFromCaffe(config, model)

# 加載圖片，轉成張量
img = cv2.imread('./smallcat.jpeg')
blob = dnn.blobFromImage(img, 1.0, (224,224), (104,117,123))

# 模型推理
net.setInput(blob)
r = net.forward()
idxs = np.argsort(r[0])[::-1][:5]

# 分類結果展示
path = './model/synset_words.txt'
with open(path, 'rt') as f:
    classes = [x[x.find(" ")+1:]for x in f]
for (i, idx) in enumerate(idxs):
# 將結果展示在影像上
    if i == 0:
        text = "Label: {}, {:.2f}%".format(classes[idx],
            r[0][idx] * 100)
        cv2.putText(img, text, (5, 25),  cv2.FONT_HERSHEY_SIMPLEX,
            0.7, (0, 0, 255), 2)
# 顯示影像
cv2.imshow("Image", img)
cv2.waitKey(0)

結論：實際上有了模型之后，推理的步驟并不復雜，難點在于前處理與后處理；往往影像的處理上的錯誤，或者是對結果的處理問題，會導致結果不符，這是需要特別注意的；

總結

至此OpenCV的學習告一段落，后續需要在實際應用中多使用才能夠更加熟練，現在多數場景的應用都是基于C++的OpenCV，相對來說各種依賴以及環境的配置會復雜一些，但其功能和Python版本是一致的；后續也會將作業中用到的OpenCV相關的知識在本專欄總結，一起交流溝通！