Android NDK 開發實戰 - 微信公眾號二維碼檢測

關于二維碼識別，我們一般都是用的 Zxing 或者 Zbar ，但它們的識別率其實不是很高，有些情況下是失靈的，比如下面這兩張圖：

使用開源庫 Zxing 掃描以上兩張二維碼，有一張死活不識別，使用微信是可以的，大家可以用支付寶試試（不行），那碰到這種情況到底該怎么辦呢？哈哈，這次終于有用武之地了，我們琢磨著來優化一把，

我們在微信公眾號都用過這么一個功能，長按一張圖片，如果該圖片包含有二維碼，會彈出識別圖中二維碼，如果該圖片不含有二維碼，則不會彈出識別二維碼這個選項，說到這里我們大概應該知曉了，識別二維碼其實分為兩步，第一步是發現截取二維碼區域，第二步是識別截取到的二維碼區域，那么 zxing 和支付寶到底是哪一步出了問題呢？首先我們來看一下第一步發現截取二維碼區域，

二維碼事例

上圖是一張常用的二維碼事例圖，有三個比較重要的區域，分別是左上，右上和左下，我們只要能找到這三個特定的區域，就能判定圖片中包含有二維碼，接下來我們來分析一下思路：

1. 對其進行輪廓查找
2. 對查找的到的輪廓進行初步過濾
3. 判斷是否符合二維碼的特征規則
4. 截取二維碼區域
5. 識別二維碼

//  判斷 X 方向上是否符合規則
bool isXVerify(const Mat& qrROI){
    ... 代碼省略
    // 判斷 x 方向從左到右的像素比例
    // 黑：白：黑：白：黑 = 1:1:3:1:1
}

//  判斷 Y 方向上是否符合規則
bool isYVerify(const Mat& qrROI){
    ... 代碼省略
    // y 方向上也可以按照 isXVerify 方法判斷
    // 但我們也可以適當的寫簡單一些
    // 白色像素 * 2 < 黑色像素 && 黑色像 < 4 * 白色像素 
}

int main(){
    Mat src = imread("C:/Users/hcDarren/Desktop/android/code1.png");

    if (!src.data){
        printf("imread error!");
        return -1;
    }
    imshow("src", src);

    // 對影像進行灰度轉換
    Mat gary;
    cvtColor(src, gary, COLOR_BGR2GRAY);
    // 二值化
    threshold(gary, gary, 0, 255, THRESH_BINARY | THRESH_OTSU);
    imshow("threshold", gary);
    // 1. 對其進行輪廓查找
    vector<vector<Point> > contours;
    findContours(gary, contours, RETR_LIST, CHAIN_APPROX_SIMPLE);

    for (int i = 0; i < contours.size(); i++)
    {
        // 2. 對查找的到的輪廓進行初步過濾
        double area = contourArea(contours[i]);
        // 2.1 初步過濾面積 7*7 = 49
        if (area < 49){
            continue;
        }
        
        RotatedRect rRect = minAreaRect(contours[i]);
        float w = rRect.size.width;
        float h = rRect.size.height;
        float ratio = min(w, h) / max(w, h);
        // 2.2 初步過濾寬高比大小
        if (ratio > 0.9 && w< gary.cols/2 && h< gary.rows/2){
            Mat qrROI = warpTransfrom(gary, rRect);
            // 3. 判斷是否符合二維碼的特征規則
            if (isYVerify(qrROI) && isXVerify(qrROI)) {
                drawContours(src, contours, i, Scalar(0, 0, 255), 4);
            }
        }
    }

    imshow("src", src);
    imwrite("C:/Users/hcDarren/Desktop/android/code_result.jpg", src);

    waitKey(0);
    return 0;
}

處理結果

代碼是非常簡單的，關鍵是我們要善于學會去分析，多多培養解決問題的能力，只要知道實作思路，其他一切都不是問題了，那么有意思的就來了，當掃描第二張圖的時候，我們發現死活都識別不了，那么細心的同學可能明白了，我們上面的代碼是按照正方形的特征來識別的，而第二張圖是圓形的特征，因此 Zxing 無法識別也是正常的，因為咱們在寫代碼的時候根本沒考慮這么個情況，那么我們怎么才能做到識別圓形的特征呢？考驗我們的時候到了，我們能想到三種解決方案：

1. 再寫一套識別圓形特征的代碼
2. 借鑒人臉識別的方案，采用訓練樣本的方式識別
3. 換一種檢查方案，只寫一套代碼

人臉識別在下期文章中會寫到，訓練樣本的方式比較麻煩，如果之前沒接觸過，那么需要一定的時間成本，但這種方案應該是最好的，再寫一套圓形識別的代碼，感覺維護困難，作為一個有靈魂的工程師總覺得別扭，那這里我們就采用第三種方案了，其實知識點也就那么多，還是那句話多培養我們分析解決問題的能力，

我們仔細觀察，他們其實還是有很多共同點，我們對其進行輪廓篩選的時候會發現，都是一個大輪廓里面套兩個小輪廓，具體流程如下：

1. 對其進行輪廓查找
2. 對查找的到的輪廓進行初步過濾
3. 判斷是否是一個大輪廓套兩個小輪廓且符合特征規則(面積比例判斷)
4. 截取二維碼區域
5. 識別二維碼

extern "C"
JNIEXPORT jobject JNICALL
Java_com_darren_ndk_day76_MainActivity_clipQrBitmap(JNIEnv *env, jobject instance, jobject bitmap) {
    Mat src;
    cv_helper::bitmap2mat(env, bitmap, src);

    // 對影像進行灰度轉換
    Mat gary;
    cvtColor(src, gary, COLOR_BGR2GRAY);

    // 二值化
    threshold(gary, gary, 0, 255, THRESH_BINARY | THRESH_OTSU);

    // 1. 對其進行輪廓查找
    vector<Vec4i> hierarchy;
    vector<vector<Point> > contours;
    vector<vector<Point> > contoursRes;
    /*
     引數說明：https://blog.csdn.net/guduruyu/article/details/69220296
        輸入影像image必須為一個2值單通道影像
        contours引數為檢測的輪廓陣列，每一個輪廓用一個point型別的vector表示
        hiararchy引數和輪廓個數相同，每個輪廓contours[ i ]對應4個hierarchy元素hierarchy[ i ][ 0 ] ~hierarchy[ i ][ 3 ]，
            分別表示后一個輪廓、前一個輪廓、父輪廓、內嵌輪廓的索引編號，如果沒有對應項，該值設定為負數，
        mode表示輪廓的檢索模式
            CV_RETR_EXTERNAL 表示只檢測外輪廓
            CV_RETR_LIST 檢測的輪廓不建立等級關系
            CV_RETR_CCOMP 建立兩個等級的輪廓，上面的一層為外邊界，里面的一層為內孔的邊界資訊，如果內孔內還有一個連通物體，這個物體的邊界也在頂層，
            CV_RETR_TREE 建立一個等級樹結構的輪廓，具體參考contours.c這個demo
        method為輪廓的近似辦法
            CV_CHAIN_APPROX_NONE 存盤所有的輪廓點，相鄰的兩個點的像素位置差不超過1，即max（abs（x1-x2），abs（y2-y1））==1
            CV_CHAIN_APPROX_SIMPLE 壓縮水平方向，垂直方向，對角線方向的元素，只保留該方向的終點坐標，例如一個矩形輪廓只需4個點來保存輪廓資訊
            CV_CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS 使用teh-Chinl chain 近似演算法
        offset表示代表輪廓點的偏移量，可以設定為任意值，對ROI影像中找出的輪廓，并要在整個影像中進行分析時，這個引數還是很有用的，
     */
    findContours(gary, contours, hierarchy, CV_RETR_TREE, CHAIN_APPROX_NONE, Point(0, 0));
    int tCC = 0; // 臨時用來累加的子輪廓計數器
    int pId = -1;// 父輪廓的 index
    for (int i = 0; i < contours.size(); i++) {
        if (hierarchy[i][2] != -1 && tCC == 0) {
            pId = i;
            tCC++;
        } else if (hierarchy[i][2] != -1) {// 有父輪廓
            tCC++;
        } else if (hierarchy[i][2] == -1) {// 沒有父輪廓
            tCC = 0;
            pId = -1;
        }
        // 找到了兩個子輪廓
        if (tCC >= 2) {
            contoursRes.push_back(contours[pId]);
            tCC = 0;
            pId = -1;
        }
    }
    // 找到過多的符合特征輪廓，對其進行篩選
    if (contoursRes.size() > FEATURE_NUMBER) {
        contoursRes = filterContours(gary, contoursRes);
    }

    // 沒有找到符合的條件
    if (contoursRes.size() < FEATURE_NUMBER) {
        return NULL;
    }
    
    for (int i = 0; i < contoursRes.size(); ++i) {
        drawContours(src, contoursRes, i, Scalar(255, 0, 0), 2);
    }

    // 裁剪二維碼，交給 zxing 或者 zbar 處理即可
    
    cv_helper::mat2bitmap(env, src, bitmap);

    return bitmap;
}

處理結果

開發中我們最喜歡做的就是拿過來直接用，但最好還是明白其中的原理，因為我們無法斷定開發中會出什么幺蛾子，像微信這樣的大廠自然得自己這一套，其實好的框架能夠拿過來優化優化，個人認為就已經差不多了，當然以上寫法在某些特定場景下，可能還是會存在些許漏洞，這就靠我們不斷的去琢磨優化了，

PS：關于我

本人是一個擁有6年開發經驗的帥氣Android攻城獅，記得看完點贊，養成習慣，微信搜一搜「 程式猿養成中心 」關注這個喜歡寫干貨的程式員，

另外耗時兩年整理收集的Android一線大廠面試完整考點PDF出爐，資料【完整版】已更新在我的【Github】，有面試需要的朋友們可以去參考參考，如果對你有幫助，可以點個Star哦！

地址：【https://github.com/733gh/xiongfan】