OpenCV中的SURF（Speeded-Up Robust Features 加速魯棒特征）

上一篇博客介紹了用于關鍵點檢測和描述的SIFT，但它相對較慢，這篇博客將介紹其優化版本——SURF（Speeded-Up Robust Features 加速魯棒特征），它是加速版的SIFT；

• 在SIFT中，Lowe用高斯差分近似高斯的拉普拉斯算子來尋找尺度空間，
• SURF借助于積分影像，可以很容易地計算帶盒濾波器的卷積，并行計算不同的尺度，此外，SURF還依賴于規模和位置的Hessian矩陣行列式，
• SURF增加了許多功能以提高每一步的速度，它比SIFT快3倍，而性能與SIFT相當，
• SURF擅長處理模糊和旋轉的影像，但不擅長處理視點變化和照明變化，

1. 效果圖

SURF默認引數效果圖如下：

檢查到的關鍵點比較多，把原圖覆寫完了，

SURF調整閾值，檢查到關鍵點近50個，效果圖如下：

使用U-SURF不計算方向，方向全為一個，SURF關鍵點效果圖如下：

默認以64D計算效果圖如上，調整為128D，U-SURF效果圖如下：基本沒差別

2. 原理

OpenCV使用 SURF.detect()、SURF.compute()等來查找關鍵點和描述符，

2.1 為什么SURF比SIFT快?

• 在任何尺度下，利用積分影像都可以很容易地發現小波回應，
• 不考慮旋轉不變形，因此不需要找到方向會加快程序，
• SURF提供了一種稱為Upright-SURF或U-SURF的功能，它提高了速度，±15°之間非常健壯，
• OpenCV支持Upright-SURF、U-SURF，具體取決于標志，如果為0，則計算方向，如果為1，則不計算方向，速度更快，
• 維數越低，計算和匹配的速度越快，但特征的顯著性越好，OpenCV通過分別為64 dim和128 dim設定擴展為0和1的標志值（默認值為128 dim）來支持這兩種功能
• 另一個重要的改進是對潛在興趣點使用拉普拉斯符號（Hessian矩陣的軌跡），它不增加計算成本，拉普拉斯符號將黑暗背景上的明亮斑點與相反情況區分開來，
• 在匹配階段，只比較具有相同對比度的特征（如下圖所示），這種最小的資訊允許更快的匹配，而不會降低描述符的性能，

2.3 怎樣獲取SIFT與SURF？

• https://stackoverflow.com/questions/64525121/sift-surf-set-opencv-enable-nonfree-cmake-solution-opencv-3-opencv-4

• https://www.pianshen.com/article/8283162836/

SIFT、SURF是有專利的演算法，在OpenCV3.0以上時已去除，移到了opencv-contrib-python版本中，所以有以下方法可以獲取：
1）安裝opencv3以下版本
2）卸載opencv3以上版本，opencv-contrib-python安裝指定版本
3）安裝opencv3以上版本，安裝opencv-contrib-python，原始碼編譯安裝opencv；

綜上方法2更方便可行，只需要倆步：

1. 卸載opencv-python
2. 安裝指定版本opencv-contrib-python==3.4.2.17

pip uninstall opencv-python

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-contrib-python==3.4.2.17

可以看到成功了

3. 原始碼

# 尋找SURF關鍵點和描述符并繪制
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('images/butterfly.jpg', 0)

# 創建SURF物件，可以在創建時指定引數也可以稍后設定引數
# 此處設定 Hessian閾值為 400
sift = cv2.xfeatures2d.SIFT_create()
print('sift: ', sift)
surf = cv2.xfeatures2d.SURF_create()
print('surf: ', surf,
      ' \ndefaultParameter\thessianThreshold: ', surf.getHessianThreshold(),
      ' upright: ', surf.getUpright(),
      ' extended: ', surf.getExtended(),
      ' descriptors: ',surf.descriptorSize())

# 尋找SURF關鍵點和描述符
# kp:回傳的關鍵點串列，des：numpy陣列
kp, des = surf.detectAndCompute(img, None)
# 繪制關鍵點在圖片上
img2 = cv2.drawKeypoints(img, kp, None, (255, 0, 0), 4)
plt.imshow(img2), plt.xticks([]), plt.yticks([]), plt.title('more keypoints'), plt.show()

print('keypoints: ', len(kp))

# 檢查當前Hessian閾值
# print(surf.getHessianThreshold())

# 調整Hessian閾值，此處設定為50000，但一般最佳設定為300~500
surf.setHessianThreshold(50000)
print(' parameters\thessianThreshold: ', surf.getHessianThreshold(),
      ' upright: ', surf.getUpright(),
      ' extended: ', surf.getExtended(),
      ' descriptors: ',surf.descriptorSize())

# 再一次計算關鍵點和描述符
kp, des = surf.detectAndCompute(img, None)

print('keypoints: ', len(kp))

# 繪制關鍵點在圖片上
img2 = cv2.drawKeypoints(img, kp, None, (255, 0, 0), 4)

plt.imshow(img2), plt.xticks([]), plt.yticks([]), plt.title('less than 50 keypoints'), plt.show()

# U-SURF不會計算方向
# print(surf.getUpright())
surf.setUpright(True)
print(' parameters\thessianThreshold: ', surf.getHessianThreshold(),
      ' upright: ', surf.getUpright(),
      ' extended: ', surf.getExtended(),
      ' descriptors: ',surf.descriptorSize())

# 重新計算關鍵點和描述符，并繪制
kp = surf.detect(img, None)
print('keypoints: ', len(kp))
img2 = cv2.drawKeypoints(img, kp, None, (255, 0, 0), 4)

plt.imshow(img2), plt.xticks([]), plt.yticks([]), plt.title('U-SURF'), plt.show()

# 所有方向顯示在同一方向，它比以前快多了，如果您正在處理方向不成問題的情況（如全景縫合）等，使用U-SURF會更好，
# 尋找描述符的大小
# print(surf.descriptorSize())
# extended為false，默認為64D
# print(surf.getExtended())

# 設定描述符為128D
surf.setExtended(True)
print(' parameters\thessianThreshold: ', surf.getHessianThreshold(),
      ' upright: ', surf.getUpright(),
      ' extended: ', surf.getExtended(),
      ' descriptors: ',surf.descriptorSize())

kp, des = surf.detectAndCompute(img, None)
print('keypoints: ',len(kp))
img2 = cv2.drawKeypoints(img, kp, None, (255, 0, 0), 4)

plt.imshow(img2), plt.xticks([]), plt.yticks([]), plt.title('128D res'), plt.show()

參考