前言
大家拍照的時候會用到全景嗎？在拍一個環境的時候還是會有很多人用全景的吧 ，今天教大家如何用Python拼接全景圖片，
影像的全景拼接，即“縫合”兩張具有重疊區域的圖來創建一張全景圖，其中用到了計算機視覺和影像處理技術有：關鍵點特征檢
測、區域不變特征、關鍵特征點匹配、RANSAC(Random Sample Consensus，隨機采樣一致性)和透視變形，
具體步驟
（1）檢測左右兩張影像的SIFT關鍵特征點，并提取區域不變特征 ；
（2）使用knnMatch檢測來自右圖(左圖)的SIFT特征，與左圖(右圖)進行匹配 ；
（3）計算視角變換矩陣H，用變換矩陣H對右圖進行扭曲變換；
（4）將左圖(右圖)加入到變換后的影像的左側(右側)獲得最終影像；
代碼：
Python學習交流Q群：906715085#### import cv2 as cv # 匯入opencv包 import numpy as np # 匯入numpy包，影像 處理中的矩陣運算需要用到 #檢測影像的SIFT關鍵特征點 def sift_keypoints_detect(image): # 處理影像一般很少用到彩色資訊，通常直接將影像轉換為灰度圖 gray_image = cv.cvtColor(image, cv.COLOR_BGR2GRAY) # 獲取影像特征sift-SIFT特征點,實體化物件 sift sift = cv.xfeatures2d.SIFT_create () # keypoints:特征點向量,向量內的每一個元素 是一個KeyPoint物件，包含了特征點的各種屬性資訊(角度、關鍵特征點坐標等) # features:表示輸出的sift特征向量，通常是 128維的 keypoints, features = sift.detectAndCompute(image, None) #cv.drawKeyPoints():在影像的關鍵特征點部位繪制一個小圓圈 #如果傳遞標志 flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,它將繪制一個大小為keypoint的圓圈并顯示它的方向 # 這種方法同時顯示影像的坐標，大小和方向，是最能顯示特征的一種繪制方式 keypoints_image = cv.drawKeypoints( gray_image, keypoints, None, flags=cv.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS) # 回傳帶關鍵特征點的影像、關鍵特征點和sift的特征向量 return keypoints_image, keypoints, features #使用KNN檢測來自左右影像的SIFT特征，隨后進行匹配 def get_feature_point_ensemble (features_right, features_left): #創建BFMatcher物件解決匹配 bf = cv.BFMatcher() # knnMatch()函式：回傳每個特征點的最佳匹配k個匹配點 # features_right為模板圖，features_left為匹配圖 matches = bf.knnMatch(features_right, features_left, k=2) # 利用sorted()函式對matches物件進行升序(默認)操作 matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance) # x:x[]字母可以隨意修改，排序方式按照中括號[]里面的維度進行排序，[0]按照第一維排序，[2]按照第三維排序 # 建立串列good用于存盤匹配的點集 good = [] for m, n in matches: # ratio的值越大，匹配的線條越密集，但錯誤匹配點也會增多 ratio = 0.6 if m.distance < ratio * n.distance: good.append(m) # 回傳匹配的關鍵特征點集 return good #計算視角變換矩陣H，用H對右圖進行變換并回傳全景拼接影像 def Panorama_stitching(image_right, image_left): _, keypoints_right, features_right = sift_keypoints_detect(image_right) _, keypoints_left, features_left = sift_keypoints_detect(image_left) goodMatch = get_feature_point_ensemble (features_right, features_left) # 當篩選項的匹配對大于4對(因為homography單應性矩陣的計算需要至少四個點)時,計算視角變換矩陣 if len(goodMatch) > 4: # 獲取匹配對的點坐標 ptsR = np.float32( [keypoints_right [m.queryIdx].pt for m in goodMatch]).reshape(-1, 1, 2) ptsL = np.float32( [keypoints_left [m.trainIdx].pt for m in goodMatch]).reshape(-1, 1, 2) #ransacReprojThreshold：將點對視為內點的最大允許重投影錯誤閾值(僅用于RANSAC和RHO方法時),若srcPoints和dstPoints是以像素為單位的，該引數通常設定在1到10的范圍內 ransacReprojThreshold = 4 # cv.findHomography():計算多個二維點對之間的最優單映射變換矩陣 H(3行x3列),使用最小均方誤差或者RANSAC方法 # 函式作用:利用基于RANSAC的魯棒演算法選擇最優的四組配對點，再計算轉換矩陣H(3*3)并回傳,以便于反向投影錯誤率達到最小 Homography, status = cv.findHomography( ptsR, ptsL, cv.RANSAC, ransacReprojThreshold) # cv.warpPerspective()：透視變換函式，用于解決cv2.warpAffine()不能處理視場和影像不平行的問題 # 作用：就是對影像進行透視變換，可保持直線不變形，但是平行線可能不再平行 Panorama = cv.warpPerspective( image_right, Homography, (image_right.shape[1] + image_left.shape[1], image_right.shape[0])) cv.imshow("扭曲變換后的右圖", Panorama) cv.waitKey(0) cv.destroyAllWindows() # 將左圖加入到變換后的右影像的左端即獲得最終影像 Panorama[0:image_left.shape[0], 0:image_left.shape[1]] = image_left # 回傳全景拼接的影像 return Panorama if __name__ == '__main__': # 讀取需要拼接的影像,需要注意影像左右的順序 image_left = cv.imread("./Left.jpg") image_right = cv.imread("./Right.jpg") # 通過呼叫cv2.resize()使用插值的方式來改變影像的尺寸，保證左右兩張影像大小一致 # cv.resize()函式中的第二個形參dsize表示輸出影像大小尺寸，當設定為0(None)時，則表示按fx與fy與原始影像大小相乘得到輸出影像尺寸大小 image_right = cv.resize(image_right, None, fx=0.4, fy=0.24) image_left = cv.resize(image_left, (image_right.shape[1], image_right.shape[0])) # 獲取檢測到關鍵特征點后的影像的相關引數 keypoints_image_right, keypoints_right, features_right = sift_keypoints_detect(image_right) keypoints_image_left, keypoints_left, features_left = sift_keypoints_detect(image_left) # 利用np.hstack()函式同時將原圖和繪有關鍵特征點的影像沿著豎直方向(水平順序)堆疊起來 cv.imshow("左圖關鍵特征點檢測", np.hstack((image_left, keypoints_image_left))) # 一般在imshow后設定 waitKey(0) , 代表按任意鍵繼續 cv.waitKey(0) # 洗掉先前建立的視窗 cv.destroyAllWindows() cv.imshow("右圖關鍵特征點檢測", np.hstack((image_right, keypoints_image_right))) cv.waitKey(0) cv.destroyAllWindows() goodMatch = get_feature_point_ensemble(features_right, features_left) # cv.drawMatches():在提取兩幅影像特征之后，畫出匹配點對連線 # matchColor – 匹配的顏色（特征點和連線),若matchColor==Scalar::all(-1),顏色隨機 all_goodmatch_image = cv.drawMatches( image_right, keypoints_right, image_left, keypoints_left, goodMatch, None, None, None, None, flags=2) cv.imshow("所有匹配的SIFT關鍵特征點連線", all_goodmatch_image) cv.waitKey(0) cv.destroyAllWindows() # 把圖片拼接成全景圖并保存 Panorama = Panorama_stitching(image_right, image_left) cv.namedWindow("全景圖", cv.WINDOW_AUTOSIZE) cv.imshow("全景圖", Panorama) cv.imwrite("./全景圖.jpg", Panorama) cv.waitKey(0) cv.destroyAllWindows()
左圖關鍵特征點檢測
右圖關鍵特征點檢測
所有匹配的SIFT關鍵特征點連線
扭曲變換后的右圖
全景圖
由于輸入的左右影像之間有大量重疊，導致全景圖的主要添加部分是在拼接影像的右側，因此會造成拼接后全景圖右側有大量的黑色空白區域，到這里就結束這一篇文章了，下一章見啦，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/457535.html
標籤：Python
上一篇：【Python】破解摩斯密碼