OpenCV 中有兩種特征匹配方法：暴力匹配 (Brute force matching) 和最近鄰匹配 (Nearest Neighbors matching)

它們都繼承自 DescriptorMatcher，是基于特征描述符距離的匹配，根據描述符的不同，距離可以是歐氏距離，也可以是漢明距

1 暴力匹配

首先，任取影像 A 的一個特征描述符，計算它到影像 B 中所有特征描述符的距離；然后，將所得到的距離進行排序；最后，選擇距離最短的特征，作為 A-B 的匹配點

1.1 BFMatcher

BFMatcher 屬于 features2d 模塊，繼承自 DescriptorMatcher，其 create() 函式如下：

    static Ptr<BFMatcher> create(
        int normType = NORM_L2,    // normType, One of NORM_L1, NORM_L2, NORM_HAMMING, NORM_HAMMING2.
        bool crossCheck = false    // crossCheck
    );

1) normType 距離型別

SIFT和SURF 的 HOG 描述符，對應歐氏距離 L1 和 L2；ORB 和 BRISK 的 BRIEF 描述符，對應漢明距 HAMMING；HAMMING2 則對應當 WTA_K = 3或4 時的 ORB 演算法

- 歐氏距離：最常用的一種距離定義，指的是 n 維空間中，兩點之間的實際距離

$L1 = \sum_I | \texttt{src1} (I) - \texttt{src2}|$

$L2 = \sqrt{\sum_I (\texttt{src1}(I) - \texttt{src2}(I))^2}$

- 漢明距離：計算機的異或操作，適用于二進制串描述符，如 BRIEF 描述符，定義如下：

$ Hamming \left ( a,b \right ) = \sum\limits_{i=0}^{n-1} \left ( a_i \oplus b_i \right ) $

2) crossCheck 交叉核對

- 如果在影像 B 中，特征 $f_{b}$ 是特征 $f_{a}$ 的最佳匹配，并且在影像 A 中，特征 $f_{a}$ 也是特征 $f_{b}$ 的最佳匹配，則稱 $(f_{a}, f_{b})$ 為 "good match"

1.2 代碼示例

特征匹配步驟如下：讀圖 -> 提取特征 -> 計算特征描述符 -> 暴力匹配 -> 顯示匹配結果

#include "opencv2/highgui.hpp"
#include "opencv2/features2d.hpp"

using namespace cv;

int main()
{
    // 1) read
    Mat img1 = imread("box.png", IMREAD_GRAYSCALE);
    Mat img2 = imread("box_in_scene.png", IMREAD_GRAYSCALE);
    if (img1.empty() || img2.empty())
        return -1;

    // 2) detect and compute
    Ptr<SIFT> sift = SIFT::create();
    std::vector<KeyPoint>  kps1, kps2;
    Mat desc1, desc2;
    sift->detectAndCompute(img1, Mat(), kps1, desc1);
    sift->detectAndCompute(img2, Mat(), kps2, desc2);

    // 3) match
    Ptr<BFMatcher> bfmatcher = BFMatcher::create(NORM_L2, true);
    std::vector<DMatch> matches;
    bfmatcher->match(desc1, desc2, matches);

    // 4) draw and show
    Mat img_matches;
    drawMatches(img1, kps1, img2, kps2, matches, img_matches);
    imshow("BFMatcher", img_matches);

    waitKey();
}

crosscheck 分別為 true 和 false：

2 最近鄰匹配

FLANN 是一個開源庫，全稱 Fast Library for Approximate Nearest Neighbors，它實作了一系列高維向量的近似最近鄰搜索演算法

基于 FLANN 庫的最近鄰匹配算子 FlannBasedMatcher，在特征資料集較大或一些實時處理領域，其運行效率要遠高于 BFMatcher

OpenCV 中 FlannBasedMatcher 的定義如下：

// This matcher trains cv::flann::Index on a train descriptor collection and calls its nearest search methods to find the best matches. 
// So, this matcher may be faster when matching a large train collection than the brute force matcher. 
class FlannBasedMatcher : public DescriptorMatcher
{
public:
    FlannBasedMatcher( const Ptr<flann::IndexParams>& indexParams=makePtr<flann::KDTreeIndexParams>(),
                       const Ptr<flann::SearchParams>& searchParams=makePtr<flann::SearchParams>() );

    static Ptr<FlannBasedMatcher> create();

2.1 距離比

為了進一步提高特征匹配精度，David Lowe 提出了一種最近鄰次近鄰距離比的方法：

- 取影像 A 的一個特征，搜索它到影像 B 距離最近的兩個特征，距離分別記為 $d_{1}$ 和 $d_{2}$，只有當 $\displaystyle{\frac{d_{1}}{d_{2}}}$ 小于某個閾值時，才認為是 "good match"

"good match" 的概率密度函式 PDF (Probability Density Function) 與最近鄰次近鄰距離比的關系，如下:

2.2 代碼示例

取 distance ratio = 0.7，對比使用和不使用距離比濾波的匹配效果，代碼如下：

#include "opencv2/highgui.hpp"
#include "opencv2/features2d.hpp"

using namespace cv;

const float kRatioThresh = 0.7f;

int main()
{
    // 1) read
    Mat img1 = imread("box.png", IMREAD_GRAYSCALE);
    Mat img2 = imread("box_in_scene.png", IMREAD_GRAYSCALE);
    if (img1.empty() || img2.empty())
        return -1;

    // 2) detect feature and compute descriptor
    Ptr<SIFT> sift = SIFT::create();
    std::vector<KeyPoint>  kps1, kps2;
    Mat desc1, desc2;
    sift->detectAndCompute(img1, Mat(), kps1, desc1);
    sift->detectAndCompute(img2, Mat(), kps2, desc2);

    // 3) FLANN based matcher
    Ptr<FlannBasedMatcher> knnmatcher = FlannBasedMatcher::create();
    std::vector<std::vector<DMatch> > matches;
    knnmatcher->knnMatch(desc1, desc2, matches, 2);

    // 4) filter matches using Lowe's distance ratio test
    std::vector<DMatch> good_matches;
    for (size_t i = 0; i < matches.size(); i++)
    {
        if (matches[i][0].distance < kRatioThresh*matches[i][1].distance)
        {
            good_matches.push_back(matches[i][0]);
        }
    }
    // 5) draw and show matches
    Mat img_matches;
    drawMatches(img1, kps1, img2, kps2, good_matches, img_matches);
    imshow("Good Matches", img_matches);

    waitKey();
}

匹配效果對比如下：

3 應用示例

特征匹配 + 平面單應性，在計算機視覺中有很多應用，如：透視校正，目標定位等

3.1 透視校正

OpenCV 之平面單應性 4.1 中的示例，并不是標準的透視校正，因為是人拿著標定板旋轉不同角度，使相機和標定板產生了相對的視角變換，而不是相機和整個場景之間

多視圖幾何中，嚴格意思的透視校正，是指相機在不同的視角下，對同一場景成不同的像而進行的視角校正，如下圖：

在得到匹配點對 good_matches 之后，再執行如下代碼，便可用于透視校正

    // Localize the object
    std::vector<Point2f> obj;
    std::vector<Point2f> scene;
    for (size_t i = 0; i < good_matches.size(); i++)
    {
        // Get the keypoints from the good matches
        obj.push_back(kps1[good_matches[i].queryIdx].pt);
        scene.push_back(kps2[good_matches[i].trainIdx].pt);
    }

    // estimate H
    Mat H = findHomography(scene, obj, RANSAC);

    // warp scene 
    Mat scene_warp;
    warpPerspective(img2, scene_warp, H, Size(1.35*img2.cols, img2.rows)); 

    // show
    imshow("scene_warp", scene_warp);

校正前后的結果如下：

3.2 目標定位

得到匹配點對 good_matches 后，再執行如下代碼，便可用于目標定位

    // Localize the object
    std::vector<Point2f> obj;
    std::vector<Point2f> scene;
    for (size_t i = 0; i < good_matches.size(); i++)
    {
        // Get the keypoints from the good matches
        obj.push_back(kps1[good_matches[i].queryIdx].pt);
        scene.push_back(kps2[good_matches[i].trainIdx].pt);
    }
    // estimate H
    Mat H = findHomography(obj,scene, RANSAC);

    // get the corners from the image_1 ( the object to be "detected" )
    std::vector<Point2f> obj_corners(4);
    obj_corners[0] = Point2f(0, 0);
    obj_corners[1] = Point2f((float)img1.cols, 0);
    obj_corners[2] = Point2f((float)img1.cols, (float)img1.rows);
    obj_corners[3] = Point2f(0, (float)img1.rows);

    std::vector<Point2f> scene_corners(4);
    perspectiveTransform(obj_corners, scene_corners, H);

    // draw lines between the corners (the mapped object in the scene - image_2 )
    line(img_matches, scene_corners[0] + Point2f((float)img1.cols, 0), scene_corners[1] + Point2f((float)img1.cols, 0), Scalar(0,255,0));
    line(img_matches, scene_corners[1] + Point2f((float)img1.cols, 0), scene_corners[2] + Point2f((float)img1.cols, 0), Scalar(0,255,0));
    line(img_matches, scene_corners[2] + Point2f((float)img1.cols, 0), scene_corners[3] + Point2f((float)img1.cols, 0), Scalar(0,255,0));
    line(img_matches, scene_corners[3] + Point2f((float)img1.cols, 0), scene_corners[0] + Point2f((float)img1.cols, 0), Scalar(0,255,0));

    // show detected matches
    imshow("Object detection", img_matches);

目標定位結果如下：

參考資料

OpenCV-Python Tutorials / Feature Detection and Description / Feature Matching

OpenCV Tutorials / 2D Features framework (feature2d module) / Feature Matching with FLANN

OpenCV Tutorials / 2D Features framework (feature2d module) / Features2D + Homography to find a known object

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/293495.html

標籤：其他

上一篇：談談網路協議 - 資料鏈路層（ Data Link）

下一篇：人工智能數學基礎---定積分4：使用換元法計算定積分

OpenCV 之 特征匹配