OpenCV-Python影像處理：透視變換概念、矩陣及實作案例詳解

? ? 老猿Python博文目錄：https://blog.csdn.net/LaoYuanPython ?

要理解投影變換的原理最好能理解仿射變換的原理，關于仿射變換可參考老猿的仿射變換相關系列博文，

仿射變換博文傳送門（帶星號的為付費專欄文章）：

1. *影像仿射變換原理1：齊次坐標來龍去脈詳解
2. *影像仿射變換原理2：矩陣變換、線性變換和影像線性變換矩陣
3. *影像仿射變換原理3：仿射變換型別及變換矩陣詳解
4. *影像仿射變換原理4：組合變換及對應變換矩陣
5. *影像仿射變換原理5：組合變換矩陣的OpenCV-Python實作
6. OpenCV-Python影像處理：仿射變換詳解及案例
7. OpenCV-Python仿射變換開發中遇到的坑
8. openCV仿射變換：getAffineTransform的案例
9. 為什么稱影像旋轉、錯切、縮放變換是線性變換？
10. 影像仿射變換：繞點旋轉和指定直線依賴軸shear錯切變換矩陣
11. 影像仿射變換shear怎么翻譯？剪切、錯切、推移哪個譯詞好？
12. 仿射變換原理和其OpenCV-Python實作知識匯總

一、概述

影像幾何變換又稱為影像空間變換，是各種影像處理演算法的基礎，它是在不改變影像內容的情況下，對影像像素進行空間幾何變換的處理方式，它將一幅影像中的坐標位置映射到另一幅影像中的新坐標位置，其實質是改變像素的空間位置，估算新空間位置上的像素值，因此幾何變換在變換程序中會建立一種原影像像素與變換后影像像素之間的映射關系，通過這種關系，能夠從一方的像素計算出另一方的像素的坐標位置，通常將影像坐標映射到輸出的程序稱作向前映射，反之，將輸出影像映射到輸入的程序稱作向后映射，向后映射在實踐中使用較多，原因是能夠避免使用向前映射中出現映射不完全和映射重疊的問題

適當的幾何變換可最大程度地消除由于成像角度、透視關系乃至鏡頭自身原因所造成的幾何失真所產生的負面影響，幾何變換常常作為影像處理應用的預處理步驟，是影像歸一化的核心作業之一，

一個幾何變換需要兩部分運算：首先是空間變換所需的運算，如平移、縮放、旋轉和投影等， 需要用它來表示輸出影像與輸入影像之間的像素映射關系；此外，還需要使用灰度插值演算法， 因為按照這種變換關系進行計算， 輸出影像的像素可能被映射到輸入影像的非整數坐標上，

影像的幾何變換包括透視變換和仿射變換，透視變換又稱為投影變換、投射變換、投影映射，透視變換是將圖片投影到一個新的視平面，它是二維（x,y）到三維(X,Y,Z)、再到另一個二維(x’,y’)空間的映射，

注：這部分文字寫得很干脆和透徹，主要摘抄自CSDN知名博主Eastmount的博文《[Python影像處理] 三十六.OpenCV影像幾何變換萬字詳解（平移縮放旋轉、鏡像仿射透視）》，

二、透視變換矩陣

影像透視變換（Perspective Transformation）的本質是將影像從一個幾何平面投影到另一個幾何平面，透視變換保證同一條直線的點還是在同一條直線上，但不再保證平行了，因為這是一個二維影像經過一個三維變換，然后映射到另外一個二維空間，二維影像的二維空間與映射后的二維空間不一樣，如果一樣就是仿射變換，

與前面《https://blog.csdn.net/LaoYuanPython/article/details/113788380 影像仿射變換原理3：仿射變換型別及變換矩陣詳解》介紹仿射變換的仿射矩陣類似，透視變換也是建立在矩陣運算基礎上的，通過矩陣運算可以很快的找到新舊影像的像素對應關系，

透視變換使用如下齊次坐標公式來進行描述：

上面公式中源影像和目標影像的坐標使用齊次坐標方式表示，變換矩陣為3階方陣，該方陣為一單應性矩陣，就是比仿射矩陣多了一行，

可以看到，透視變換矩陣前2行2列為線性變換矩陣的元素構成（藍色框標記范圍），黃色框標記范圍兩個元素為平移對應元素，紅色橢圓前2行整體為仿射矩陣，灰色矩形標記范圍的第三行用于透視變換的空間變換，實際上第三行也只有前兩列的m31、m32用于透視變換的空間變換，因為m33可以變換為常量1（關于這點具體請見付費專欄文章《getPerspectiveTransform通過4對點確認透視變換矩陣的原理分析》的分析），

三、透視變換的作用

透視變換主要有三個作用：

• 影像校正：透視變換可以將原圖中涉及平面展現不合理的影像進行校正，為了說明問題，在此借用CSDN博主xiaowei_cqu的《【影像處理】透視變換 Perspective Transformation》中的圖例來示意：
  

• 影像視角變換：就是將看圖的視角進行調整一下，請看如下圖：
  

• 影像拼接：相機拍照時，最終成像的照片角度大部分情況下不同，如果能將其轉成相同的角度，則可以將多張照片進行拼接，進一步的了解大家可以參考單應性矩陣的理解及求解3的介紹，

  老猿就這個情況進行了仔細考慮，感覺可以通過如下思路來實作拼接：對于不同的兩張涉及景物相鄰的照片，找出相鄰處都有的景物的相同位置的四個點，對兩個影像進行仿射變換，將四個點都映射成相同大小的標準長方形，然后將兩張結果影像進行拼接，拼接時將兩個長方形完全重合，拼接后再將該結果照片進行仿射變換，確保長方形部分變換成兩張原圖中任意一張的四個點位置，則二者視角就統一了，找到合適的影像老猿就試一下，試了之后再詳細介紹案例，

四、OpenCV-Python相關透視變換函式

4.1、getPerspectiveTransform 函式

getPerspectiveTransform函式根據源影像和目標影像上的四對點坐標來計算從原影像透視變換到目標頭像的透視變換矩陣，

4.1.1、呼叫語法

getPerspectiveTransform(src, dst, solveMethod=None)

4.1.2、語法說明

• src：源影像上四個點的坐標構成的矩陣，要求其中任意三點不共線
• dst：目標影像上四個點的坐標構成的矩陣，要求其中任意三個點不共線，且每個點與src的對應點對應
• solveMethod：矩陣分解方法，傳遞給cv2.solve(DecompTypes) 求解線性方程組或解決最小二乘問題，默認值為None，表示使用DECOMP_LU，
  solveMethod對應取值及含義如下：
  
  注：矩陣分解 ，英文稱為matrix decomposition或matrix factorization是將矩陣拆解為數個矩陣的乘積，可分為三角分解、滿秩分解、Jordan分解和SVD（奇異值）分解等，常見的有三種：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇異值分解法 (Singular Value Decompostion)， 在影像處理方面，矩陣分解被廣泛用于降維(壓縮)、去噪、特征提取、數字水印等，是十分重要的數學工具，其中特征分解(譜分解)和奇異值分解是兩種常用方法，
  
  老猿對矩陣分解目前也只知道概念，參閱資料《淺談矩陣分解以及應用》，相關具體知識并不熟悉，對此有興趣的可以進一步查閱相關資料，
• 回傳值：為一3*3的透視變換矩陣

4.2、warpPerspective 函式

warpPerspective函式用于對輸入影像進行透視變換，透視變換使用如下公式來計算結果影像和輸入影像的對應關系：

其中M_ij代表透視變換矩陣的9個元素，

4.2.1、呼叫語法

warpPerspective(src, M, dsize, dst=None, flags=None, borderMode=None, borderValue=None)

4.2.2、語法說明

• src：輸入影像矩陣
• M：3*3的透視變換矩陣，可以通過getPerspectiveTransform等函式獲取
• dsize：結果影像大小，為寬和高的二元組
• dst：輸出結果影像，可以省略，結果影像會作為函式處理結果輸出
• flags：可選引數，插值方法的組合（int 型別），默認值 INTER_LINEAR，本函式官方材料說明取值為INTER_LINEAR 或 INTER_NEAREST與 WARP_INVERSE_MAP的組合，但老猿測驗其他標志也是支持的，具體取值及含義請參考《https://blog.csdn.net/LaoYuanPython/article/details/111771138 OpenCV-Python影像處理：插值方法及使用resize函式進行影像縮放》的介紹
• borderMode：可選引數，邊界像素模式（int 型別），默認值 BORDER_CONSTANT，本函式官方材料說明取值為BORDER_CONSTANT 或 BORDER_REPLICATE，實際上所有取值型別都支持，包括形態變換中不支持的BORDER_WRAP、BORDER_TRANSPARENT都能支持，并且不同取值有不同效果，具體取值及含義請參考《https://blog.csdn.net/LaoYuanPython/article/details/109441709 OpenCV-Python影像處理：腐蝕和膨脹原理及erode、dilate函式介紹》的介紹
• borderValue：可選引數，邊界填充值，當borderMode為cv2.BORDER_CONSTANT時使用，默認值為None；
• 回傳值：為透視變換后的結果影像矩陣，最后的結果矩陣每個像素與原影像像素的對應關系為：
  

如果flags標記設定了WARP_INVERSE_MAP標記，首先使用invertAffineTransform對變換矩陣進行反轉即求其逆矩陣，然后將其放入上面的公式中，而不是將M直接放入

• 回傳值：透視變換后的結果影像

五、案例

5.1、案例說明

5.1.1、輸入影像

輸入影像檔案名為：f:\pic\Dog15.JPG，內容即上面說明 影像視角變換的小狗影像，borderMode用預設值的影像為上面的小狗變換結果影像，下面我們看看borderMode取不同值BORDER_WRAP時的結果影像，

5.1.2、程式功能說明

本次將一張輸入影像，將其原影像的四角對應四個點，通過透視變換映射到新影像，原影像的四個點中，底部左下和右下兩個點保持不變，頂部左上和右上兩個點的y坐標值映射為影像高度的一半，x坐標映射為寬帶的1/3和2/3處，

5.2、示例代碼

import cv2
import numpy as np

def changeView(imgFile):
    srcImg = cv2.imread(imgFile)
    r,c = srcImg.shape[:2]
    pointSrc = [[0,0],[c,0],[0,r],[c,r]]
    pointDest = [[int(c/3),int(r/2)],[int(c*2/3),int(r/2)],[0,r],[c,r]]
    srcPoints = np.float32(pointSrc)
    destPoints = np.float32(pointDest)

    m = cv2.getPerspectiveTransform(srcPoints, destPoints)
    resultImg = cv2.warpPerspective(srcImg, m, (c,r),flags=cv2.INTER_AREA ,borderMode=cv2.BORDER_WRAP)
    cv2.imshow("result img", resultImg)
    ch = cv2.waitKey(0)


changeView(r'f:\pic\Dog15.JPG')

5.3、效果

關于透視變換更多的案例請參考《https://blog.csdn.net/LaoYuanPython/article/details/113958088 狗狗變形記：任選4點的投影變換warpPerspective OpenCV-Python案例》，

六、小結

本節詳細介紹了透視變換的概念、變換矩陣、作用以及OpenCV-Python相關的處理函式getPerspectiveTransform 和warpPerspective的語法及引數含義，并分析了輸入影像和輸出影像四對點確認透視變換矩陣的原理，最后提供了一個案例，來演示透視變換的代碼實作及效果，本文的有些內容如四對點確認透視變換矩陣，在其他公開資料也有所提及（如CSDN博主lyhbkz的《單應性矩陣的理解及求解3》），但老猿結合齊次坐標和矩陣運算將其細化了，應該是網上公開資料首次全面介紹，相關內容有助于理解透視變換的概念和OpenCV-Python透視變換的應用方式，

參考資料：

1、[Python影像處理] 三十六.OpenCV影像幾何變換萬字詳解（平移縮放旋轉、鏡像仿射透視）
2、單應性矩陣的理解及求解3
3、【影像處理】透視變換 Perspective Transformation

更多影像處理的介紹請參考專欄《OpenCV-Python圖形影像處理 https://blog.csdn.net/laoyuanpython/category_9979286.html》和《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初學者疑難問題集》相關文章，

更多影像處理的數學基礎知識請參考專欄《人工智能數學基礎 https://blog.csdn.net/laoyuanpython/category_10382948.html》

寫博不易，敬請支持：

如果閱讀本文于您有所獲，敬請點贊、評論、收藏，謝謝大家的支持！

如果對文章內容存在疑問，可以在博客評論區留言，或關注：老猿Python 微信公號發訊息咨詢，

關于老猿的付費專欄

1. 付費專欄《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt開發圖形界面Python應用》專門介紹基于Python的PyQt圖形界面開發基礎教程，對應文章目錄為《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt開發圖形界面Python應用專欄目錄》；
2. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音視頻開發專欄 )詳細介紹moviepy音視頻剪輯合成處理的類相關方法及使用相關方法進行相關剪輯合成場景的處理，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音視頻開發專欄文章目錄》；
3. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初學者疑難問題集》為《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的伴生專欄，是筆者對OpenCV-Python圖形影像處理學習中遇到的一些問題個人感悟的整合，相關資料基本上都是老猿反復研究的成果，有助于OpenCV-Python初學者比較深入地理解OpenCV，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初學者疑難問題集專欄目錄 》
4. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬蟲入門 》站在一個互聯網前端開發小白的角度介紹爬蟲開發應知應會內容，包括爬蟲入門的基礎知識，以及爬取CSDN文章資訊、博主資訊、給文章點贊、評論等實戰內容，

前兩個專欄都適合有一定Python基礎但無相關知識的小白讀者學習，第三個專欄請大家結合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的學習使用，

對于缺乏Python基礎的同仁，可以通過老猿的免費專欄《https://blog.csdn.net/laoyuanpython/category_9831699.html 專欄：Python基礎教程目錄）從零開始學習Python，

如果有興趣也愿意支持老猿的讀者，歡迎購買付費專欄，

跟老猿學Python！

? ? 前往老猿Python博文目錄 https://blog.csdn.net/LaoYuanPython ?