opencv實戰——機器視覺檢測和計數

引言

在機器視覺中，有時需要對產品進行檢測和計數，其難點無非是對于產品的影像分割，

由于之前網購的維生素片，有時候忘了今天有沒有吃過，就想對瓶子里的藥片計數...在學習opencv以后，希望實作對于維生素片分割計數演算法，本次實戰在基于形態學的基礎上又衍生出基于距離變換的分水嶺演算法，使其實作的效果更具普遍性，

基于形態學的維生素片檢測和計數

??整體思路：

1. 讀取圖片
2. 形態學處理（在二值化前進行適度形態學處理，效果俱佳）
3. 二值化
4. 提取輪廓（進行藥片分割）
5. 獲取輪廓索引，并篩選所需要的輪廓
6. 畫出輪廓，顯示計數

opencv實作：

int main(int argc, char** argv)
{
    Mat src, src_binary,dst,src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學",dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);
    vector<vector<Point>> contours;
    findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0));
    RNG rng(12345);
    double area;
    Point2i PL;
    for (size_t i = 0; i < contours.size(); i++)
    {
        area = contourArea(contours[i]);
        if (area < 500)continue;
        PL = contours[i].front();
        Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
        drawContours(src, contours, i, color, 2, 8);
        putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2);            
    }
    imshow("計數結果", src);
    waitKey(0);
    return 0;
}

效果展示：

 由上圖可以看的，原圖在經過形態學處理后，可以去除很多細節，簡化后續的藥片分割操作，

但是在計數結果圖上發現，索引17號藥片并沒有完全分割（實際上修改形態學的結構元素尺寸（改為20*20）也可以完全分離這兩個藥片），

??這不由得讓我們思考，如果簡單的形態學處理分割不了藥片呢？

 對于復雜的產品圖片，我們可以使用基于距離變換的分水嶺演算法對其分割，

 基于距離變換的分水嶺演算法檢測和計數

OpenCV 采用了基于標記點的分水嶺演算法，在這種演算法中我們要設定哪些山谷點會匯合，哪些不會，這是一種互動式的影像分割，我們要做的就是給我們已知的物件打上不同的標簽（即添加注水點），然后實施分水嶺演算法，每一次灌水，我們的標簽就會被更新，當兩個不同顏色的標簽相遇時就構建堤壩，直到將所有山峰淹沒，最后我們得到的邊界物件（堤壩）的值為 -1，

??對于如何打上標簽（即添加注水點）有兩種辦法：

opencv中，對于一張二值化的影像，后續處理方式有兩種，第一種方式就是利用findContours、drawContours等函式進行輪廓分析（opencv以對輪廓的處理為主），第二種方式就是計算連通域進行區域分析，

第一種（基于輪廓）：在二值化后，對影像尋找輪廓findContours，篩選出注水區域輪廓，然后通過drawContours對輪廓標記，

第二種（基于區域）：在二值化后，先對尋找影像中的前景圖（即注水點），再尋找到背景圖（進行膨脹），最后找到未知區域（背景減去前景，得到邊緣圖），通過connectedComponents()獲取標記點，

相關API:

• 分水嶺函式watershed函式原型

void watershed( InputArray image, InputOutputArray markers );

第一個輸入引數 image，必須是CV_8UC3型別影像，

第二個輸入/輸出引數markers必須是32位單通道影像，和image尺寸一樣，包含不同區域的輪廓，每個輪廓有一個自己唯一的編號，

??在執行watershed函式后，演算法會根據markers傳入的輪廓作為種子，對影像上其他的像素點根據分水嶺演算法規則進行判斷，并對每個像素點的區域歸屬進行劃定，直到處理完影像上所有像素點，而區域與區域之間的分界處的值被置為“-1”，以做區分，

•  距離變換函式distanceTransform函式原型

距離變換運算用于計算二值化影像中的每一個非零點距自己最近的零點的距離，距離變換影像上越亮的點，代表了這一點距離零點的距離越遠，

距離變換通常用于求解影像的骨骼和查找物體的質心（即獲取距離變換的極大值）和計算非零像素到最近零像素點的最短距離，

distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize，int dstType = CV_32F);

第一個輸入引數src，必須是CV_8UC1型別的二值影像（只有0或1）

第二個輸出引數dst，表示的是計算距離的輸出影像，輸出型別是CV_32F/CV_8U的單通道影像，大小與輸入圖片相同，

第三個引數distanceType，表示的是選取距離的型別，可以設定為DIST_L1,DIST_L2,DIST_C

第四個引數maskSize，表示的是距離變換的掩膜模板，可以設定為3，5（常用3）

第四個引數dstType，表示輸出型別,可選擇CV_32F/CV_8U

注：若輸出型別為CV_32F，想要顯示距離變換后的骨架影像，需要對其歸一化，（normalize）

??????????????

先來看看第一種標記mark（基于輪廓）的方法：

 （一）讀入影像，形態學，二值化（消除噪聲）

    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

 （二）距離變換（歸一化顯示），再二值化

    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    normalize(src_distance, src_distance, 0, 1, NORM_MINMAX);
    imshow("距離變換", src_distance);
    threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY);
    imshow("再二值化", src_distance);

經過距離變換后的二值化，可以清晰看到，藥片以及完全分割開來，

 （三）打上標簽（添加注水點）,基于輪廓

    //尋找標記點marsk的輪廓資訊 也就是分水嶺的水壩
    src_distance.convertTo(src_distance, CV_8UC1);
    vector<vector<Point>> contours;    
    findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE);
    //創建maker
    Mat markers = Mat::zeros(src.size(), CV_32S);//  //因為分水嶺后的邊緣存盤是-1，所以必須使用有符號的CV_32S
    for (size_t t = 0; t < contours.size(); t++) 
    {
        drawContours(markers, contours, static_cast<int>(t), Scalar(static_cast<int>(t) + 1), -1);//輪廓數字編號
    }
    circle(markers, Point(5, 5), 30, Scalar(255), -1);//關鍵代碼（mark做一個小標記）
    int index1 = 0;
    //列印輪廓資料 有值的均為輪廓線
    for (int row = 0; row < markers.rows; row++)
        for (int col = 0; col < markers.cols; col++)
        {
            index1 = markers.at<int>(row, col);
            cout << index1 << ",";
        }

 部分標簽markers輪廓資料截圖，可以看到0代表背景，輪廓線用正數索引標識，

 （四）進行分水嶺操作，并給分水嶺后的區域隨機上色，并列印出檢測的藥片個數，

 // 生成隨機顏色
    vector<Vec3b> colors;
    for (size_t i = 0; i < contours.size(); i++) {
        int r = theRNG().uniform(0, 255);
        int g = theRNG().uniform(0, 255);
        int b = theRNG().uniform(0, 255);
        colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r));
    }

    // 顏色填充與最終顯示
    Mat dst1 = Mat::zeros(markers.size(), CV_8UC3);
    int index = 0;
    for (int row = 0; row < markers.rows; row++) {
        for (int col = 0; col < markers.cols; col++) {
            index = markers.at<int>(row, col);
            
            if (index > 0 && index <= contours.size()) {
                dst1.at<Vec3b>(row, col) = colors[index - 1];

            }
            else {
                dst1.at<Vec3b>(row, col) = Vec3b(0, 0, 0);
            }

        }
    }
    imshow("結果顯示", dst1);
    printf("藥片檢測個數: %d\n", contours.size());

 ??????????????

再來看看第二種標記mark（基于區域）的方法：

 （一）讀入影像，形態學，二值化（消除噪聲）

 Mat foreground, background, unkonwn;//創建前景，背景,未知區域
    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

（二）對二值化影像進行膨脹操作，得到大部分是背景的圖片

//得到背景圖片
    dilate(src_binary, background, kernel, Point(-1, -1), 3);
    imshow("背景圖片", background);

（三）通過對二值影像距離變換得到前景圖片（即注水點）

//距離變換
    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    imshow("距離變換", src_distance);
    normalize(src_distance, src_distance, 0, 255, NORM_MINMAX);
    double my_minv = 0.0, my_maxv = 0.0;
    minMaxIdx(src_binary, &my_minv, &my_maxv);
    threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY);
    foreground.convertTo(foreground, CV_8U);
    imshow("前景圖片", foreground);

 （四）通過背景與前景的差值，得到未知區域（即邊緣所在區域）

//得到未知區域
    unkonwn = background - foreground;
    imshow("未知區域", unkonwn);

 （五）得到這些區域以后，我們可以獲取注水點的標簽，通過connectedComponents實作（即獲取markers標簽）

//創建標記點markers
    Mat markers = Mat(src.size(), CV_32S);
    int num = connectedComponents(foreground, markers, 8);
    cout << num << endl;
    markers = markers + 1;
    for (int i = 0; i < unkonwn.rows; i++)
    {
        for (int j = 0; j < unkonwn.cols; j++)
        {
            if (((int)unkonwn.at<uchar>(i, j)) == 255)
            {
                markers.at<signed int>(i, j) = 0;
            }
        }
    }

詳細理解該步驟：

現在我們已經知道哪些是背景，哪些是藥片（前景區域），

因此我們可以創建一個標簽（和原圖大小，型別為CV_32S)，通過connectedComponents函式對前景區域進行標記

連通域相關博文：opencv——連通域標記與分析 - 唯有自己強大 - 博客園 (cnblogs.com)

該函式會對前景區域連通域分析，并將背景設定為0，其他區域從1開始正整數標記（這就是我們的種子，水漫時會從這里漫出），結果回傳給markers，

但是對于分水嶺演算法，會將為0的區域認為是未知區域，因此要markers整體加一，

（六）進行分水嶺操作，并顯示邊緣

watershed(src, markers);
    for (int row = 0; row < markers.rows; row++)
    {
        for (int col = 0; col < markers.cols; col++)
        {

            if (markers.at< int>(row, col) == -1)
            {
                src.at<Vec3b>(row, col) = Vec3b(0, 0, 255);
            }
        }
    }

    imshow("結果", src);

由于分水嶺演算法會將找到的邊緣在markers置為-1,因此我們對原圖操作，將索引為-1的位置的像素值改為紅色（即顯示邊緣），

 參考鏈接：OpenCV---分水嶺演算法 - 山上有風景 - 博客園 (cnblogs.com)

                  (8條訊息) c++和opencv小知識：基于距離變換的分水嶺演算法（固定流程）_夢游城市的博客-CSDN博客

                  (8條訊息) OpenCV分水嶺演算法影像分割_冰冰bing的博客-CSDN博客

標籤：其他

上一篇：直方圖統計和顯示

下一篇：Action Sheets 和 Activity Views