Qt音視頻開發39-人臉識別在線版-有解無憂

一、前言

關于人臉識別這塊，前些年不要太火，哪怕是到了今天依然火的一塌糊涂，什么玩意都要跟人臉識別搭個邊，這東西應該只是人工智能的一個很小的部分，人臉識別光從字面上理解就是識別出人臉區域，其實背后真正的處理是拿到人臉區域圖片，提取人臉特征值，再用這些特征值去做比對分析處理，識別出到底是誰，國內廠家也不少，比拼的就是準確度誤報率，速度無非就是靠堆硬體來，什么VPU各種并行運算都堆上去，速度杠杠的，好多廠家都做到了幾個毫秒的級別，估計很多廠家都是在開源的基礎上加上了自家的演算法，一直跑呀跑的整出了符合自家演算法的人臉模型檔案，比如百度的人臉識別模型檔案，經過好幾年的發展，越來越大越來越細越來越準，

聽某個大神說過，很多時候人工智能其實并不是完全的智能，絕大部分都停留在半智能階段，而且這種半智能階段還需要借助很多輔助的硬體甚至人為的判斷，很多模型庫檔案的生成就是靠一小小姑娘在那邊流水線上類似的不停的點呀點，號稱深度學習演算法，就是讓他識別更多的資料，使得更準確，關于人臉識別或者人工智能，外行一般覺得很科幻，內行一般覺得很絕望，業界領袖和領袖各種打雞血，

國內的廠家大部分都提供了官網對應的api來進行處理，注冊個賬號，搞個key，直接就可以擼起來，關于這塊技術上沒有任何難點，初學者都可以搞定，無非就是先post資料，拿到回傳的資料進行決議，要搞清楚的就是如何填充要post的資料，比如帶上key，組織其他資料比如圖片是base64字串上傳還是二進制檔案上傳等，回傳的資料都是json啦，直接用現成的json庫進行決議就ok，

百度人臉識別在線版和離線版SDK的封裝：

離線版要求支持C++11的編譯器，而且必須為MSVC，不支持mingw編譯器，
在線版中的密鑰等資訊，務必記得換成自己申請的，
離線版本只能在windows上使用，
離線版本需要自己申請密鑰，找到facebaidusdk檔案夾下的LicenseTool.exe,填寫后臺離線SDK管理中申請到的序列號，單擊激活按鈕，
離線版本對應的動態庫和模型檔案自行從官網下載，
如果原始碼包中有facebaidusdk+face-resource檔案夾則說明帶了動態庫和模型庫檔案夾，只需要將facebaidusdk檔案夾下的所有檔案復制到可執行檔案同一目錄，face-resource檔案夾復制到可執行檔案夾目錄同等級目錄即可，目錄位置見snap檔案夾下的示例圖，
facebaidusdk目錄下的TestFaceApi.exe為百度提供的測驗程式，先要將USB攝像頭插到電腦上，會實時找人臉框，

二、功能特點

支持的功能包括人臉識別、人臉比對、人臉搜索、活體檢測等，
在線版還支持身份證、駕駛證、行駛證、銀行卡等識別，
在線版的協議支持百度、曠視，離線版的支持百度，可定制，
除了支持X86架構，還支持嵌入式linux比如contex-A9、樹莓派等，
每個功能的執行除了回傳結果還回傳執行用時時間，
多執行緒處理，通過type控制當前處理型別，
支持單張圖片檢索相似度最高的圖片，
支持指定目錄圖片用來生成人臉特征值檔案，
可設定等待處理圖片佇列中的數量，
每次執行都有成功或者失敗的信號回傳，
人臉搜索的回傳結果包含了原圖+最大相似度圖+相似度等，
人臉比對同時支持兩張圖片和兩個特征值比對，
相關功能自定義一套協議用于客戶端和服務端，可以通過TCP通信進行互動，
自定義人臉識別協議非常適用于中心一臺服務器，現場若干設備請求的場景，
每個模塊全部是獨立的一個類，代碼整潔、注釋完善，

三、效果圖

在這里插入圖片描述

四、相關站點

國內站點：https://gitee.com/feiyangqingyun/QWidgetDemo
國際站點：https://github.com/feiyangqingyun/QWidgetDemo
個人主頁：https://blog.csdn.net/feiyangqingyun
知乎主頁：https://www.zhihu.com/people/feiyangqingyun/
體驗地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代碼

void FaceWebBaiDu::finished(QNetworkReply *reply)
{
    QString error = reply->errorString();
    if (!error.isEmpty() && error != "Unknown error") {
        emit receiveError(error);
    }

    if (reply->bytesAvailable() > 0 && reply->error() == QNetworkReply::NoError) {
        QString data = reply->readAll();
        reply->deleteLater();

        //發送接收資料信號
        emit receiveData(data);

        //初始化腳本引擎
        QScriptEngine engine;
        //構建決議物件
        QScriptValue script = engine.evaluate("value=" + data);

        //獲取鑒權識別符號
        QString token = script.property("access_token").toString();
        if (!token.isEmpty()) {
            this->token = token;
            emit receiveResult(0, "鑒權標識回傳成功");
            return;
        }

        //通用回傳結果欄位
        int code = script.property("error_code").toInt32();
        QString msg = script.property("error_msg").toString();
        emit receiveResult(code, msg);

        //圖片識別部分
        QScriptValue result = script.property("result");
        if (!result.isNull()) {
            //人臉識別
            if (data.contains("location")) {
                QScriptValue face_list = result.property("face_list");
                checkFaceList(face_list);
            }

            //人臉比對
            if (data.contains("score") && !data.contains("location")) {
                QScriptValue score = result.property("score");
                float result = score.toString().toFloat();
                if (result > 0) {
                    emit receiveFaceCompare(QRect(), QRect(), result);
                } else {
                    emit receiveFaceCompareFail();
                }
            }

            //活體檢測
            if (data.contains("face_liveness")) {
                QScriptValue face_liveness = result.property("face_liveness");
                float result = face_liveness.toString().toFloat();
                if (result >= 0) {
                    emit receiveLive(result);
                }
            }           
        }        
    }
}

void FaceWebBaiDu::checkFaceList(const QScriptValue &scriptValue)
{
    //創建迭代器逐個決議具體值
    QScriptValueIterator it(scriptValue);
    while (it.hasNext()) {
        it.next();
        if (it.flags() & QScriptValue::SkipInEnumeration) {
            continue;
        }

        QRect rect;
        QString face_token = it.value().property("face_token").toString();
        if (!face_token.isEmpty()) {
            QScriptValue value = it.value().property("location");
            rect = FaceHelper::getRect(value);
        }

        if (rect.width() > 0) {
            emit receiveFaceRect(rect);
            break;
        }
    }
}

void FaceWebBaiDu::getToken()
{
    //具體參見 http://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu
    QStringList list;
    list.append(QString("grant_type=%1").arg("client_credentials"));
    list.append(QString("client_id=%1").arg(key));
    list.append(QString("client_secret=%1").arg(secret));
    QString data = list.join("&");

    QString url = "https://aip.baidubce.com/oauth/2.0/token";
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::detect(const QImage &img)
{
    QString imgData = FaceHelper::getImageData2(img);

    QStringList list;
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\"}").arg(imgData));
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::compare(const QImage &img1, const QImage &img2)
{
    QString imgData1 = FaceHelper::getImageData2(img1);
    QString imgData2 = FaceHelper::getImageData2(img2);

    //如果需要活體檢測則NONE改為LOW NORMAL HIGH
    QStringList list;
    list.append("[");
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\",\"liveness_control\":\"NONE\"}").arg(imgData1));
    list.append(",");
    list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\",\"liveness_control\":\"NONE\"}").arg(imgData2));
    list.append("]");
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/match?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

void FaceWebBaiDu::live(const QImage &img)
{
    QList<QImage> imgs;
    if (!img.isNull()) {
        imgs << img;
    }

    live(imgs);
}

void FaceWebBaiDu::live(const QList<QImage> &imgs)
{
    //記住最后一次處理的時間,限制頻繁的呼叫
    QDateTime now = QDateTime::currentDateTime();
    if (lastTime.msecsTo(now) < 500) {
        return;
    }

    lastTime = now;
    QStringList list;
    list.append("[");

    int count = imgs.count();
    for (int i = 0; i < count; i++) {
        QString imgData = FaceHelper::getImageData2(imgs.at(i));
        list.append(QString("{\"image\":\"%1\",\"image_type\":\"BASE64\"}").arg(imgData));
        if (i < count - 1) {
            list.append(",");
        }
    }

    list.append("]");
    QString data = list.join("");

    QString url = QString("https://aip.baidubce.com/rest/2.0/face/v3/faceverify?access_token=%1").arg(token);
    FaceHelper::sendData(manager, url, data);
}

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/194056.html

標籤：其他

上一篇：爬蟲驗證碼的幾種處理方式，已封裝成類，文章末尾有原始碼！

下一篇：離散事件模擬