一，準備

dlib庫下載：提取碼1111
dlib環境配置
資料集下載
python 3.8
opencv 3.4.11

二，代碼

老規矩，先匯入包

# 匯入包
import numpy as np
import cv2
import dlib
import random#構建隨機測驗集和訓練集
from sklearn.svm import SVC #匯入svm
from sklearn.svm import LinearSVC #匯入線性svm
from sklearn.pipeline import Pipeline #匯入python里的管道
import os
import joblib#保存模型
from sklearn.preprocessing import StandardScaler,PolynomialFeatures #匯入多項式回歸和標準化
import tqdm

定義檔案路徑

folder_path='C:/Users/hp/Desktop/genki4k (1)/genki4k/'
label='labels.txt'#標簽檔案
pic_folder='files/'#圖片檔案路徑

獲得默認的人臉檢測器和訓練好的人臉68特征點檢測器

#獲得默認的人臉檢測器和訓練好的人臉68特征點檢測器
def get_detector_and_predicyor():
    #使用dlib自帶的frontal_face_detector作為我們的特征提取器
    detector = dlib.get_frontal_face_detector()
    """
    功能：人臉檢測畫框
    引數：PythonFunction和in Classes
    in classes表示采樣次數，次數越多獲取的人臉的次數越多，但更容易框錯
    回傳值是矩形的坐標，每個矩形為一個人臉（默認的人臉檢測器）
    """
    #回傳訓練好的人臉68特征點檢測器
    predictor = dlib.shape_predictor('D:/dlib/shape_predictor_68_face_landmarks.dat')
    return detector,predictor
#獲取檢測器
detector,predictor=get_detector_and_predicyor()

定義截取面部的函式

def cut_face(img,detector,predictor):   
    #截取面部
    img_gry=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    rects = detector(img_gry, 0)  
    if len(rects)!=0:
        mouth_x=0
        mouth_y=0
        landmarks = np.matrix([[p.x, p.y] for p in predictor(img,rects[0]).parts()])
        for i in range(47,67):#嘴巴范圍
            mouth_x+=landmarks[i][0,0]
            mouth_y+=landmarks[i][0,1]
        mouth_x=int(mouth_x/20)
        mouth_y=int(mouth_y/20)
        #裁剪圖片
        img_cut=img_gry[mouth_y-20:mouth_y+20,mouth_x-20:mouth_x+20]
        return img_cut
    else:
        return 0#檢測不到人臉回傳0

定義提取特征值的函式

#提取特征值
def get_feature(files_train,face,face_feature):
    for i in tqdm.tqdm(range(len(files_train))):
        img=cv2.imread(folder_path+pic_folder+files_train[i])
        cut_img=cut_face(img,detector,predictor)
        if type(cut_img)!=int:
            face.append(True)
            cut_img=cv2.resize(cut_img,(64,64))
            #padding:邊界處理的padding
            padding=(8,8)
            winstride=(16,16)
            hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))
            face_feature.append(hogdescrip)
        else:
            face.append(False)#沒有檢測到臉的
            face_feature.append(0)

定義篩選函式

def filtrate_face(face,face_feature,face_site): #去掉檢測不到臉的圖片的特征并回傳特征陣列和相應標簽   
    face_features=[]
    #獲取標簽
    label_flag=[]
    with open(folder_path+label,'r') as f:
        lines=f.read().splitlines()
    #篩選出能檢測到臉的，并收集對應的label
    for i in tqdm.tqdm(range(len(face_site))):
        if face[i]:#判斷是否檢測到臉
            #pop之后要刪掉當前元素，后面的元素也要跟著前移，所以每次提取第一位就行了
            face_features.append(face_feature.pop(0))
            label_flag.append(int(lines[face_site[i]][0])) 
        else:
            face_feature.pop(0)
    datax=np.float64(face_features)
    datay=np.array(label_flag)
    return datax,datay

定義多項式SVM

def PolynomialSVC(degree,c=10):#多項式svm
    return Pipeline([
            # 將源資料 映射到 3階多項式
            ("poly_features", PolynomialFeatures(degree=degree)),
            # 標準化
            ("scaler", StandardScaler()),
            # SVC線性分類器
            ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42,max_iter=10000))
        ])

訓練函式

def train(files_train,train_site):#訓練
    '''
    files_train:訓練檔案名的集合
    train_site :訓練檔案在檔案夾里的位置
    '''
    #是否檢測到人臉
    train_face=[]
    #人臉的特征陣列
    train_feature=[]
    #提取訓練集的特征陣列
    get_feature(files_train,train_face,train_feature)
    #篩選掉檢測不到臉的特征陣列
    train_x,train_y=filtrate_face(train_face,train_feature,train_site)
    svc=PolynomialSVC(degree=1)
    svc.fit(train_x,train_y)
    return svc#回傳訓練好的模型

測驗函式

def test(files_test,test_site,svc):#預測，查看結果集
    '''
    files_train:訓練檔案名的集合
    train_site :訓練檔案在檔案夾里的位置
    '''
    #是否檢測到人臉
    test_face=[]
    #人臉的特征陣列
    test_feature=[]
    #提取訓練集的特征陣列
    get_feature(files_test,test_face,test_feature)
    #篩選掉檢測不到臉的特征陣列
    test_x,test_y=filtrate_face(test_face,test_feature,test_site)
    pre_y=svc.predict(test_x)
    ac_rate=0
    for i in range(len(pre_y)):
        if(pre_y[i]==test_y[i]):
            ac_rate+=1
    ac=ac_rate/len(pre_y)*100
    print("準確率為"+str(ac)+"%")
    return ac

構建HOG特征提取器

#設定hog的引數
winsize=(64,64)
blocksize=(32,32)
blockstride=(16,16)
cellsize=(8,8)
nbin=9
#定義hog
hog=cv2.HOGDescriptor(winsize,blocksize,blockstride,cellsize,nbin)
#獲取檔案夾里有哪些檔案
files=os.listdir(folder_path+pic_folder)

使用10-fold cross validation

ac=float(0)
for j in range(10):
    site=[i for i in range(4000)]
    #訓練所用的樣本所在的位置
    train_site=random.sample(site,3600)
    #預測所用樣本所在的位置
    test_site=[]
    for i in range(len(site)):
        if site[i] not in train_site:
            test_site.append(site[i])
    files_train=[]
    #訓練集,占總數的十分之九
    for i in range(len(train_site)):
        files_train.append(files[train_site[i]])
    #測驗集
    files_test=[]
    for i in range(len(test_site)):
        files_test.append(files[test_site[i]])
    svc=train(files_train,train_site)
    ac=ac+test(files_test,test_site,svc)
    save_path='C:/Users/hp/Desktop/smile/smiles'+str(j)+'(hog).pkl'
    joblib.dump(svc,save_path)
ac=ac/10
print("平均準確率為"+str(ac)+"%")

檢測結果，注意，檢測的時間耗時非常長，這邊建議去打一把游戲再來看結果

檢測公式就是如下

檢測函式

def test1(files_test,test_site,svc):#預測，查看結果集
    '''
    files_train:訓練檔案名的集合
    train_site :訓練檔案在檔案夾里的位置
    '''
    #是否檢測到人臉
    test_face=[]
    #人臉的特征陣列
    test_feature=[]
    #提取訓練集的特征陣列
    get_feature(files_test,test_face,test_feature)
    #篩選掉檢測不到臉的特征陣列
    test_x,test_y=filtrate_face(test_face,test_feature,test_site)
    pre_y=svc.predict(test_x)
    tp=0
    tn=0
    for i in range(len(pre_y)):
        if pre_y[i]==test_y[i] and pre_y[i]==1:
            tp+=1
        elif pre_y[i]==test_y[i] and pre_y[i]==0:
            tn+=1
    f1=2*tp/(tp+len(pre_y)-tn)
    print(f1)

加載剛剛保存本地模型然后呼叫檢測函式

svc7=joblib.load('C:/Users/hp/Desktop/smile/smiles9(hog).pkl')
site=[i for i in range(4000)]
#訓練所用的樣本所在的位置
train_site=random.sample(site,3600)
#預測所用樣本所在的位置
test_site=[]
for i in range(len(site)):
    if site[i] not in train_site:
        test_site.append(site[i])
#測驗集
files_test=[]
for i in range(len(test_site)):
    files_test.append(files[test_site[i]])
test1(files_test,test_site,svc7)

下面就是呼叫模型來檢測了，定義一個笑臉檢測函式，輸入圖片直接得到預測結果

def smile_detector(img,svc):
    cut_img=cut_face(img,detector,predictor)
    a=[]
    
    if type(cut_img)!=int:
        cut_img=cv2.resize(cut_img,(64,64))
    #padding:邊界處理的padding
        padding=(8,8)
        winstride=(16,16)
        hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))
        a.append(hogdescrip)
        result=svc.predict(a)
        a=np.array(a)
        return result[0]
    else :
        return 2

圖片檢測

##圖片檢測
pic_path='C:/Users/hp/Desktop/test.jpg'
img=cv2.imread(pic_path)
result=smile_detector(img,svc7)
if result==1:
    img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
elif result==0:
    img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
else:
    img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
cv2.imshow('video', img)
cv2.waitKey(0)

檢測效果

攝像頭實時檢測并保持，按s鍵保存剛剛的識別的圖片，按esc退出

camera = cv2.VideoCapture(0)#打開攝像頭
ok=True
flag=0
# 打開攝像頭 引數為輸入流，可以為攝像頭或視頻檔案
while ok:
    ok,img = camera.read()
     # 轉換成灰度影像
    result=smile_detector(img,svc7)
    if result==1:
        img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    elif result==0:
        img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    else:
        img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    cv2.imshow('video', img)
    k = cv2.waitKey(1)
    if k == 27:    # press 'ESC' to quit
        break
    elif k==115:
        pic_save_path='C:/Users/hp/Desktop/pictures/'+str(flag)+'.jpg'
        flag+=1
        cv2.imwrite(pic_save_path,img)
camera.release()
cv2.destroyAllWindows()

去檔案夾查看結果

三，總結

人臉檢測和之前做的差別不是很大，都是提取68各特征點，然后再來判斷是否露出微笑

四，參考

微笑識別