OpenCV-Python實戰（14）——人臉檢測詳解（僅需6行代碼學會4種人臉檢測方法）

0. 前言

人臉處理是人工智能中的一個熱門話題，人臉處理可以使用計算機視覺演算法從人臉中自動提取大量資訊，例如身份、意圖和情感，人臉在視覺交流中起著重要作用，這是由于人臉中包含大量非語言資訊，因此人臉處理一直以來對于計算機視覺學習者來說都是非常有趣的話題，因為它涉及不同的專業領域，例如物件檢測、特征點檢測以及物件跟蹤等，在本文中，將首先介紹常用人臉處理庫，然后通過實戰講解如何使用這些庫進行人臉檢測，為進一步進行相關處理奠定基礎，

1. 人臉處理簡介

為了專注人臉處理相關主題，我們將使用 OpenCV 庫，以及 dlib、face_recognition 和 cvlib 等 Python 包，同時，本文將在人臉處理中使用不同的方法，以介紹解決具體人臉處理任務的不同方法，對不同方法的介紹將有助于大家根據不同的應用需求選擇不同的方法，下圖展示了人臉處理的相關主題，以及可用的 Python 包：

如上圖所示，人臉處理主要包括以下主題：

• 人臉檢測：物件檢測的一種特殊情況，其任務是找到影像中所有人臉的位置和大小，
• 面部特征點檢測：特征點檢測的一種特殊情況，其任務是定位人臉中的主要特征點，
• 人臉跟蹤：物件跟蹤的一種特殊情況，其任務是利用在視頻的連續幀中提取的額外資訊，找到視頻中所有移動人臉的位置和大小，
• 人臉識別：目標識別的一種特殊情況，其任務是使用從人臉中提取的資訊從影像或視頻中識別或驗證一個人：
  • 人臉識別 (1:N)：在已知人臉集合中找到與檢測到的人臉最接近的匹配項
  • 人臉驗證 (1:1)：檢查檢測到的人臉是否是其所聲稱的人

如上所述，人臉處理主要包括：人臉檢測、面部特征點檢測、人臉追蹤 和 人臉識別，本文主要關注使用 OpenCV、dlib、face_recognition 和 cvlib 庫進行人臉檢測，關于其他人臉處理主題將在后續系列中進行介紹，

2. 安裝人臉處理相關庫

2.1 安裝 dlib

Dlib 是一個包含計算機視覺、機器學習和深度學習演算法的 C++ 軟體庫，也可以在 Python 應用程式中使用，安裝 dlib，需要使用以下命令：

pip install dlib

2.2 安裝 face_recognition

face_recognition 是一個強大、簡單、易上手的人臉識別開源專案，為了在 Python 中使用 face_recognition 庫，使用以下命令進行安裝：

pip install face_recognition

2.3 安裝 cvlib

cvlib 一個高級、易用、開源的 Python 計算機視覺庫，要安裝 cvlib 包，首先需要安裝以下依賴庫：numpy、opencv-python、requests、progressbar、pillow、tensorflow 以及 keras，
然后，再安裝 cvlib 包：

pip install cvlib

3. 人臉檢測

人臉檢測是確定影像中人臉的位置和大小的任務，通常是構建人臉處理應用程式(例如，表情識別、睡意檢測、性別分類、人臉識別或人機互動等)的基礎，這是由于此類應用程式需要將檢測到的人臉位置和大小作為輸入，因此，自動人臉檢測起著至關重要的作用，是人工智能學科研究最多的課題之一，
人臉檢測對人類而言并不困難，但對計算機來說通常涉及許多挑戰(例如外觀變化、比例變換、旋轉、面部表情變換、遮擋或光照條件等)，在本節中，我們將利用 OpenCV、dlib 和 face_processing 等提供的流行人臉檢測技術(包括機器學習和深度學習方法)檢測影像中的人臉，

3.1 使用 OpenCV 進行人臉檢測

OpenCV 提供了兩種人臉檢測方法，包括：

• 基于 Haar 級聯的人臉檢測器
• 基于深度學習的人臉檢測器

3.1.1 基于 Haar 級聯的人臉檢測器

OpenCV 中提供了基于 Viola 和 Jones 提出物件檢測框架的人臉檢測演算法，此外，該物件檢測框架還可用于檢測其他物體，例如：車牌號或貓臉等，在本節中，我們將使用此框架檢測人臉，
OpenCV 提供了 4 個級聯分類器用于人臉檢測，可以從OpenCV 官方下載這些級聯分類器檔案：

• haarcascade_frontalface_alt.xml (FA1)
• haarcascade_frontalface_alt2.xml (FA2)
• haarcascade_frontalface_alt_tree.xml (FAT)
• haarcascade_frontalface_default.xml (FD)

可以使用不同的資料集評估這些級聯分類器的性能，總的來說這些分類器具有相似的準確率，因此，接下來為了簡化程式，我們僅使用其中的兩個(更具體地說，僅加載級聯分類器 FA2 和 FD)，大家也可以選擇其它感興趣的分類器測驗其性能，
OpenCV 提供了cv2.CascadeClassifier() 函式用于從檔案中加載分類器：

# 加載級聯分類器
# 第一種方法的第一行代碼
cas_alt2 = cv2.CascadeClassifier("haarcascade_frontalface_alt2.xml")
cas_default = cv2.CascadeClassifier("haarcascade_frontalface_default.xml")

接下來，就可以使用 cv2.CascadeClassifier.detectMultiScale() 函式執行檢測了：

# 第一種方法的第二行代碼
# 這樣就完成了第一種方法的介紹了
faces_alt2 = cas_alt2.detectMultiScale(gray)
faces_default = cas_default.detectMultiScale(gray)

cv2.CascadeClassifier.detectMultiScale() 函式檢測物件并將它們作為矩形串列回傳，為了進行可視化，最后撰寫 show_detection() 函式進行可視化：

def show_detection(image, faces):
    """在每個檢測到的人臉上繪制一個矩形進行標示"""
    for (x, y, w, h) in faces:
        cv2.rectangle(image, (x, y), (x + w, y + h), (255, 0, 0), 5)
    return image
# 呼叫 show_detection() 函式標示檢測到的人臉
img_faces_alt2 = show_detection(img.copy(), faces_alt2)
img_faces_default = show_detection(img.copy(), faces_default)

什么，兩行代碼還覺得麻煩，那么是時候用一行呼叫檢測器并檢測人臉了，這就是 OpenCV 提供的 cv2.face.getFacesHAAR() 函式：

# 一行代碼實作基于 Haar 級聯的人臉檢測器，學一送一
retval, faces_haar_alt2 = cv2.face.getFacesHAAR(img, "haarcascade_frontalface_alt2.xml")
retval, faces_haar_default = cv2.face.getFacesHAAR(img, "haarcascade_frontalface_default.xml")

cv2.CascadeClassifier.detectMultiScale() 需要灰度影像作為輸入，而 cv2.face.getFacesHAAR() 需要 BGR 影像作為輸入，此外， cv2.CascadeClassifier.detectMultiScale() 將檢測到的人臉輸出為矩形串列，例如，如果檢測到兩個人臉，則輸出形式如下：

[[809 494 152 152] [168 503 188 188]]

而 cv2.face.getFacesHAAR() 函式則以以下格式回傳檢測到的人臉：

[[[ 809  493  151  151]] [[ 167  503  189  189]]]

因此，如果使用 cv2.face.getFacesHAAR() 函式進行檢測，繪制檢測框時要呼叫 np.squeeze() 函式消除多余維度：

faces_haar_alt2 = np.squeeze(faces_haar_alt2)
faces_haar_default = np.squeeze(faces_haar_default)

從加載的影像，到檢測和繪制人臉的完整代碼如下：

# 可視化函式
def show_img_with_matplotlib(color_img, title, pos):
    img_RGB = color_img[:, :, ::-1]
    ax = plt.subplot(2, 2, pos)
    plt.imshow(img_RGB)
    plt.title(title, fontsize=8)
    plt.axis('off')
    
# 加載影像
img = cv2.imread("test_face_detection.jpg")
# 將 BGR 影像轉換為灰度影像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 加載分類器
cas_alt2 = cv2.CascadeClassifier("haarcascade_frontalface_alt2.xml")
cas_default = cv2.CascadeClassifier("haarcascade_frontalface_default.xml")
# 檢測人臉
faces_alt2 = cas_alt2.detectMultiScale(gray)
faces_default = cas_default.detectMultiScale(gray)
retval, faces_haar_alt2 = cv2.face.getFacesHAAR(img, "haarcascade_frontalface_alt2.xml")
faces_haar_alt2 = np.squeeze(faces_haar_alt2)
retval, faces_haar_default = cv2.face.getFacesHAAR(img, "haarcascade_frontalface_default.xml")
faces_haar_default = np.squeeze(faces_haar_default)
# 繪制人臉檢測框
img_faces_alt2 = show_detection(img.copy(), faces_alt2)
img_faces_default = show_detection(img.copy(), faces_default)
img_faces_haar_alt2 = show_detection(img.copy(), faces_haar_alt2)
img_faces_haar_default = show_detection(img.copy(), faces_haar_default)
# 可視化
show_img_with_matplotlib(img_faces_alt2, "detectMultiScale(frontalface_alt2): " + str(len(faces_alt2)), 1)
show_img_with_matplotlib(img_faces_default, "detectMultiScale(frontalface_default): " + str(len(faces_default)), 2)
show_img_with_matplotlib(img_faces_haar_alt2, "getFacesHAAR(frontalface_alt2): " + str(len(faces_haar_alt2)), 3)
show_img_with_matplotlib(img_faces_haar_default, "getFacesHAAR(frontalface_default): " + str(len(faces_haar_default)), 4)
plt.show()

程式的輸出如下圖所示：

如上圖所示，通過使用基于 haar 特征的不同級聯分類器檢測到的人臉會有所不同，最后，還需要說明的是，cv2.CascadeClassifier.detectMultiScale() 函式有 minSize 和 maxSize 引數，用以設定最小尺寸(小于 minSize 的物件將不被檢測)和最大尺寸(大于 maxSize 的物件將不被檢測到)，而 cv2.face.getFacesHAAR() 函式并不提供此引數，

3.1.2 基于深度學習的人臉檢測器

除了基于 Haar 級聯的人臉檢測器外，OpenCV 提供了基于深度學習的人臉檢測器，OpenCV 深度神經網路 (Deep Neural Networks, DNN) 人臉檢測器基于使用 ResNet-10 網路的 Single Shot MultiBox Detector (SSD) 框架，
OpenCV 中 DNN 模塊，使用流行的深度學習框架(例如 Caffe、TensorFlow、Torch 和 Darknet )通過預先訓練的深度網路實作前向計算(即推理階段)，這意味著我們可以使用預訓練的網路執行完整的前向計算并利用輸出在我們的應用程式中進行預測，而不需要花費數小時來訓練網路，
接下來，我們預訓練的深度學習人臉檢測器模型執行人臉檢測，使用以下兩種模型：

• 人臉檢測器 (FP16)：Caffe 實作的浮點 16 版本，為了使用此檢測器，首先下載模型檔案(deploy.prototxt)和組態檔(res10_300x300_ssd_iter_140000_fp16.caffemodel)；
• 人臉檢測器 (UINT8)：TensorFlow 實作的 8 位量化版本，為了使用此檢測器，首先下載模型檔案(opencv_face_detector.pbtxt)和組態檔(opencv_face_detector_uint8.pb)，

接下來介紹如何使用預訓練的深度學習人臉檢測器模型來檢測人臉，第一步同樣是是加載預訓練的模型：

# 加載預訓練的模型， Caffe 實作的版本
net = cv2.dnn.readNetFromCaffe("deploy.prototxt", "res10_300x300_ssd_iter_140000_fp16.caffemodel")
# 加載預訓練的模型， Tensorflow 實作的版本
# net = cv2.dnn.readNetFromTensorflow("opencv_face_detector_uint8.pb", "opencv_face_detector.pbtxt")

為了獲得最佳精度，必須分別對藍色、綠色和紅色通道執行 (104, 177, 123) 通道均值減法，并將影像調整為 300 x 300 的 BGR 影像，在 OpenCV 中可以通過使用 cv2.dnn.blobFromImage() 函式進行此預處理：

blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300), [104., 117., 123.], False, False)

下一步是將 blob 設定為輸入以獲得結果，對整個網路執行前向計算以計算輸出：

# 將 blob 設定為輸入并獲取檢測結果
net.setInput(blob)
detections = net.forward()

最后一步是迭代檢測并繪制結果，僅在相應置信度大于最小閾值時才將其可視化：

# 迭代所有檢測結果
for i in range(0, detections.shape[2]):
    # 獲取當前檢測結果的置信度
    confidence = detections[0, 0, i, 2]
    # 如果置信大于最小置信度，則將其可視化
    if confidence > 0.7:
        detected_faces += 1
        # 獲取當前檢測結果的坐標
        box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
        (startX, startY, endX, endY) = box.astype('int')
        # 繪制檢測結果和置信度
        text = "{:.3f}%".format(confidence * 100)
        y = startY -10 if startY - 10 > 10 else startY + 10
        cv2.rectangle(image, (startX, startY), (endX, endY), (255, 0, 0), 3)
        cv2.putText(image, text, (startX, y), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)

# 可視化
show_img_with_matplotlib(image, "DNN face detector: " + str(detected_faces), 1)
plt.show()

基于深度學習的人臉檢測器的檢測結果如下所示：

從上圖中可以看出，三個正面人臉都可以被兩個深度學習模型高置信度地檢測到，

3.2 使用 dlib 進行人臉檢測

3.2.1 基于 HOG 特征和滑動視窗的人臉檢測器

在 dlib 中提供了基于方向梯度直方圖 (Histogram of Oriented Gradients, HOG) 特征和滑動視窗檢測方法中的線性分類器，使用基于結構 SVM 的訓練演算法用于人臉檢測，分類器能夠在每個訓練影像的所有子視窗中進行訓練，此人臉檢測器使用來自戶外標記人臉 (Labeled Faces in the Wild, LFW) 資料集的 3,000 張影像進行了訓練，
如需使用 dlib 中的基于 HOG 特征和滑動視窗的人臉檢測器檢測人臉，第一步是從 dlib 加載人臉檢測器：

# 加載人臉檢測器
# 第二種方法的第一行代碼
detector = dlib.get_frontal_face_detector()
# 加載影像并轉換為灰度影像
img = cv2.imread('example.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

下一步是執行檢測：

# 執行檢測
# 第二種方法的第二行代碼，至此第二種方法也講解完畢了
rects_1 = detector(gray, 0)
rects_2 = detector(gray, 1)

detector() 的第二個引數表示在執行檢測程序之前對影像進行上采樣的次數，因為影像越大檢測器檢測到更多的人臉的可能性就越高，但執行時間相應也會增加，
最后可視化檢測結果：

def show_detection(image, faces):
    for face in faces:
        cv2.rectangle(image, (face.left(), face.top()), (face.right(), face.bottom()), (255, 255, 0), 5)
    return image
# 繪制檢測框
img_faces_2 = show_detection(img.copy(), rects_2)
img_faces_2 = show_detection(img.copy(), rects_2)
# 繪制影像
show_img_with_matplotlib(img_faces_1, "detector(gray, 0): " + str(len(rects_1)), 1)
show_img_with_matplotlib(img_faces_2, "detector(gray, 1): " + str(len(rects_2)), 2)
plt.show()

如上圖所示，如果使用原始灰度影像 (rects_1 = detection(gray, 0)) 檢測人臉，則只能找到三張人臉，但是，如果我們使用上采樣 1 次的灰度影像 (rects_2 = detection(gray, 1)) 檢測人臉，則可以正確的檢測到四個人臉，
值得注意的是，該檢測器同樣也可以用于發現人臉以外的目標，可以通過查看 dlib 庫中的 train_object_detector.py 原始碼，了解如何僅使用少量訓練影像訓練自定義物件檢測器，例如，可以僅使用十張交通標志影像來訓練出色的交通標志檢測器，

3.2.2 基于 CNN 的人臉檢測器

dlib 庫同樣也提供了 CNN 人臉檢測器，可以使用 dlib.cnn_face_detection_model_v1() 創建 CNN 人臉檢測器， dlib.cnn_face_detection_model_v1() 函式從傳入的檔案加載人臉檢測模型，因此首先下載預訓練模型，創建 CNN 人臉檢測器時，將下載完成的預訓練模型傳遞給此方法：

cnn_face_detector = dlib.cnn_face_detection_model_v1("mmod_human_face_detector.dat")

之后，我們使用此檢測器來檢測人臉：

rects = cnn_face_detector(img, 0)

檢測器回傳 mmod_rectangles 物件，它是一個 mmod_rectangle 物件的串列，并且 mmod_rectangle 物件有兩個成員變數—— dlib.rectangle 物件和預測的置信度分數，為了顯示檢測結果，撰寫 show_detection() 函式：

def show_detection(image, faces):
    """使用矩形檢測框顯式標示每個檢測到的人臉"""
    for face in faces:
        cv2.rectangle(image, (face.rect.left(), face.rect.top()), (face.rect.right(), face.rect.bottom()), (255, 255, 0), 5)
    return image
# 繪制檢測框
img_faces = show_detection(img.copy(), rects)
# 可視化
show_img_with_matplotlib(img_faces, "cnn_face_detector(img, 0): " + str(len(rects)), 1)
plt.show()

dlib-CNN 人臉檢測器比 dlib-HOG 人臉檢測器準確得多，但需要更多的算力來運行，例如，對于 600 x 400 的影像，HOG 人臉檢測器需要大約 0.25 秒，而 CNN 人臉檢測器卻需要大約 5 秒，因此，為了加快 CNN 人臉檢測器的執行速度，則可以通過在含有 GPU 的計算機上啟用 CUDA 以達到合理的速度，但是需要從原始碼編譯安裝 dlib，

3.3 使用 face_recognition 進行人臉檢測

使用 face_recognition 檢測人臉，僅需要呼叫 face_locations() 函式：

# 第三種方法需要且僅需要一行代碼
rects_1 = face_recognition.face_locations(rgb, 0, "hog")
rects_2 = face_recognition.face_locations(rgb, 1, "hog")

face_locations() 的第一個引數是輸入影像 (RGB)；第二個引數設定在執行檢測之前對輸入影像上采樣的次數；第三個引數是要使用的人臉檢測模型，
上述示例使用 hog 檢測模型，此外 face_locations() 也可以配置為使用 cnn 人臉檢測器檢測人臉：

# 使用 cnn 人臉檢測器檢測人臉
rects_1 = face_recognition.face_locations(rgb, 0, "cnn")
rects_2 = face_recognition.face_locations(rgb, 1, "cnn")

最后可視化檢測結果：

def show_detection(image, faces):
    for face in faces:
        top, right, bottom, left = face
        cv2.rectangle(image, (left, top), (right, bottom), (255, 255, 0), 10)
    return image
# 顯示檢測結果
img_faces_1 = show_detection(img.copy(), rects_1)
img_faces_2 = show_detection(img.copy(), rects_2)
show_img_with_matplotlib(img_faces_1, "face_locations(rgb, 0, hog): " + str(len(rects_1)), 1)
show_img_with_matplotlib(img_faces_2, "face_locations(rgb, 1, hog): " + str(len(rects_2)), 2)
plt.show()

3.4 使用 cvlib 進行人臉檢測

最后我們介紹 cvlib 包中的人臉檢測演算法，cvlib 中提供了 detect_face() 函式用于檢測人臉，在底層，此函式使用 OpenCV DNN 人臉檢測器和預訓練的 Caffe 模型，函式回傳所有檢測到的人臉的邊界框和相應的置信度：

import cvlib as cv
# 第四種方法同樣需要且僅需要一行代碼
faces, confidences = cv.detect_face(image)
# 繪制邊界框
def show_detection(image, faces):
    for (startX, startY, endX, endY) in faces:
        cv2.rectangle(image, (startX, startY), (endX, endY), (255, 0, 0), 3)

    return image
# 可視化
img_result = show_detection(img.copy(), faces)
show_img_with_matplotlib(img_result, "cvlib face detector: " + str(len(faces)), 1)
plt.show()

小結

本文中我們介紹了人臉處理包含的主要主題，同時介紹了相關庫的安裝，并介紹了利用 OpenCV、dlib、face_recognition 和 cvlib 進行人臉檢測的相關方法，在后續的系列中，我們將了解包括人臉識別在內的所有人臉處理主題，

系列鏈接

OpenCV-Python實戰（1）——OpenCV簡介與影像處理基礎
OpenCV-Python實戰（2）——影像與視頻檔案的處理
OpenCV-Python實戰（3）——OpenCV中繪制圖形與文本
OpenCV-Python實戰（4）——OpenCV常見影像處理技術
OpenCV-Python實戰（5）——OpenCV影像運算
OpenCV-Python實戰（6）——OpenCV中的色彩空間和色彩映射
OpenCV-Python實戰（7）——直方圖詳解
OpenCV-Python實戰（8）——直方圖均衡化
OpenCV-Python實戰（9）——OpenCV用于影像分割的閾值技術
OpenCV-Python實戰（10）——OpenCV輪廓檢測
OpenCV-Python實戰（11）——OpenCV輪廓檢測相關應用
OpenCV-Python實戰（12）——一文詳解AR增強現實
OpenCV-Python實戰（13）——OpenCV與機器學習的碰撞