人臉識別學習筆記二：進階篇-有解無憂

一、人臉檢測實戰

1.使用OpenCV進行人臉檢測

OpenCV進行人臉檢測使用的是名為 Viola-Jones 的目標檢測框架的演算法，

第一步：下載OpenCV庫

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：找到默認的預訓練權重檔案

1.一般在python安裝目錄的上級目錄的/lib/python3.7/site-packages/cv2/data目錄下，有個haarcascade_frontalface_default.xml檔案
2.例如：我的python安裝路徑為/Users/username/opt/anaconda3/envs/tensorflow/bin/python，
那么檔案路徑就為/Users/username/opt/anaconda3/envs/tensorflow/lib/python3.7/site-packages/cv2/data/haarcascade_frontalface_default.xml
3.將該檔案拷貝到某一檔案夾下

第三步：在拷貝的haarcascade_frontalface_default.xml檔案的同級目錄下，新建face_detect_cv3.py檔案：

# -*- coding: utf-8 -*-

import cv2
import sys

# 獲取相應引數
imagePath = sys.argv[1] #從命令列讀取圖片路徑
cascPath = "haarcascade_frontalface_default.xml" #預訓練的權重檔案，這里使用相對路徑

# 創建haar級聯分類器
faceCascade = cv2.CascadeClassifier(cascPath)

# 讀取圖片并將BGR影像變換為灰度圖
image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 檢測人臉影像
# scaleFactor：確定每個影像縮放比例大小，
# minNeighbors：確定每個候選矩形應保留多少個相鄰框，
# minSize：最小目標的大小，小于該值的目標將被忽略，
# maxSize：最大目標的大小，大于該值的目標將被忽略，
faces = faceCascade.detectMultiScale(
    gray,
    scaleFactor=1.1,
    minNeighbors=5,
    minSize=(30, 30)
  	#如果使用OpenCV3，則需要注釋下面這句
    #flags = cv2.CV_HAAR_SCALE_IMAGE
)

# x,y,w,h分別是人臉框區域的左上角點的坐標和人臉框的寬高
for (x, y, w, h) in faces:
    cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)

cv2.imshow("Found {0} faces!".format(len(faces)), image)
cv2.waitKey(0)

第四步：在終端中運行

1. cd 到face_detect_cv3.py檔案所在目錄
2. python face_detect_cv3.py test.jpg #test.jpg是測驗影像的路徑，這里使用相對路徑，所以要放在同級目錄下

使用OpenCV進行檢測

2.使用face_recognition庫進行人臉檢測

face_recognition使用dlib中最先進的人臉識別深度學習演算法，其識別準確率在LFW資料集測驗基準下達到了99.38%，

第一步：下載face_recognition庫

pip install face_recognition -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：在測驗圖片test.jpg檔案的同級目錄下，新建face_detect_fr.py檔案：

# -*- coding: utf-8 -*-

import cv2
import sys

import face_recognition

# 獲取圖片路徑
imagePath = sys.argv[1]

# face_recognition加載圖片
image = face_recognition.load_image_file(imagePath)
# 人臉檢測
face_locations = face_recognition.face_locations(image)

# openCV讀取圖片
image = cv2.imread(imagePath)

# top,right,bottom,left分別是人臉框中最頂部，最右側，最底部，最左側的值
for (top, right, bottom, left) in face_locations:
    cv2.rectangle(image, (left, top), (right, bottom), (0, 255, 0), 2)


cv2.imshow("Found {0} faces!".format(len(face_locations)), image)
cv2.waitKey(0)

第四步：在終端中運行

1. cd 到face_detect_cv3.py檔案所在目錄
2. python face_detect_cv3.py test.jpg #test.jpg是測驗影像的路徑，這里使用相對路徑，所以要放在同級目錄下

face_recognition進行人臉檢測

二、FaceNet簡析

1.網路整體結構

FaceNet模型結構

對于一批人臉資料（此處的人臉資料就是通過人臉檢測演算法例如MTCNN檢測出來的人臉資料，在我們的例子是96*96的影像），經過一個深度神經網路進行特征提取，然后經過L2正則將每個人臉資料映射為一個128維向量（這也就是embedding的結果），然后將這些個128維的向量作為輸入，計算triplet loss，將triplet loss作為損失函式來進行訓練，然后將這些128維向量之間的歐式距離作為分類依據，距離小于某一個閾值，即視為同一個人，

2.三元組損失函式

Triplet Loss

Triplet 三元組指的是：anchor, negative, positive 三個部分，每一部分都是一個 embedding 向量，
anchor指的是基準圖片，positive指的是與anchor同一分類下與anchor歐式距離最大的一張圖片，negative指的是與anchor不同分類下與anchor歐式距離最小的一張圖片，
Triplet Loss可以讓同一個人的不同人臉對應的embedding向量的歐式距離小，不同人臉對應的向量歐式距離大，

3.映射的特征空間維數

特征空間維數和精確率VAL之間的關系

對于不同的特征維度D,特征越多并非越好，通過取不同的維數發現，embedding向量的維數為128更為合適，

4.分類

最后一步，相當于依據歐式距離做聚類了（個人覺得是一個有監督的聚類），可以使用SVM和KNN等聚類演算法，

三、FaceNet使用預訓練好的模型進行人臉檢測

1.訓練流程介紹

加載訓練資料集
人臉檢測、對齊和提取（使用 OpenFace 的人臉對齊工具 AlignDlib）
人臉特征向量學習（使用預訓練的 nn4.small1.v1 模型)
人臉分類（使用 KNN 或 SVM）
實際上，我們是使用預訓練好的模型進行人臉檢測，所以只需要1，2，4步，第三步實際上是加載模型，所以在代碼中不需要用到三元組損失函式來訓練模型，

2.訓練資料的形式

每人一個檔案目錄，目錄以人名命名，如”Fan_Bingbing“
每個人的檔案目錄下包含10張影像（最好是1:1比例），影像檔案以"人名_序號"命名，僅支持.jpg和.jpeg 兩種格式，如”Fan_Bingbing_0001.jpg“，
images目錄下是亞洲人的人臉圖片，origin_images目錄下是歐美人的人臉圖片