OpenCV-Python影像處理：仿射變換詳解及案例

仿射變換博文傳送門（帶星號的為付費專欄文章）：

1. *影像仿射變換原理1：齊次坐標來龍去脈詳解
2. *影像仿射變換原理2：矩陣變換、線性變換和影像線性變換矩陣
3. *影像仿射變換原理3：仿射變換型別及變換矩陣詳解
4. *影像仿射變換原理4：組合變換及對應變換矩陣
5. *影像仿射變換原理5：組合變換矩陣的OpenCV-Python實作
6. OpenCV-Python影像處理：仿射變換詳解及案例
7. OpenCV-Python仿射變換開發中遇到的坑
8. openCV仿射變換：getAffineTransform的案例
9. 為什么稱影像旋轉、錯切、縮放變換是線性變換？
10. 影像仿射變換：繞點旋轉和指定直線依賴軸shear錯切變換矩陣
11. 影像仿射變換shear怎么翻譯？剪切、錯切、推移哪個譯詞好？
12. 仿射變換原理和其OpenCV-Python實作知識匯總

一、概述

影像的幾何變換包括透視變換和仿射變換，透視變換又稱為投影變換、投射變換、投影映射，透視變換是將圖片投影到一個新的視平面，它是二維（x,y）到三維(X,Y,Z)、再到另一個二維(x’,y’)空間的映射，仿射變換可以認為是投射變換的一種特殊情況，是透視變換的子集，仿射變換是從二維空間到自身的映射，

仿射變換包括平移（translation）、旋轉（rotation）、縮放（scaling）、錯切（shear ）四種型別：

1. 平移和旋轉兩者的組合不改變影像的大小和形狀，只有影像的位置(平移變換)和朝向(旋轉變換)發生改變，稱之為歐式變換（Euclidean transformation）或剛體變換（rigid transformation），剛性變換是最一般的變換
2. 縮放又分為等比例縮放（uniform scaling）和非等比例縮放（non-uniform scaling），如果縮放系數為負數，則會疊加翻轉（reflection，又翻譯為反射、鏡像），因此翻轉可以看成是特殊的縮放
3. 歐式變換和等比例縮放保持了影像外觀沒有變形，因此二者的組合稱為相似變換（similarity transformation）
4. 錯切是保持圖形上各點的某一坐標值不變，而另一坐標值關于該保持不變坐標值進行線性變換，坐標不變的軸稱為依賴軸，其余坐標軸稱為方向軸，錯切分為水平錯切和垂直錯切，

二、基本仿射變換矩陣

在《https://blog.csdn.net/LaoYuanPython/article/details/113788380 影像仿射變換原理3：仿射變換型別及變換矩陣詳解》中介紹了包括平移（translation）、旋轉（rotation）、縮放（scaling）、錯切（shear ）四種型別仿射變換的變換矩陣，

• 平移變換基本仿射變換矩陣
  

• 旋轉變換基本仿射變換矩陣（θ為順時針旋轉角度）
  

• 水平錯切基本仿射變換矩陣（α為錯切角）
  

• 垂直錯切基本仿射變換矩陣（β為錯切角）
  

• 縮放變換基本仿射變換矩陣（kx和ky分布為水平縮放因子和垂直縮放因子）
  

• 上面介紹的仿射矩陣實際上并不是標準稱呼上的仿射矩陣，而是一種用于兩個平面間進行透視變換的3*3單應性矩陣，真正的仿射矩陣是2*3的矩陣，比單應性矩陣少一行，OpenCV中warpAffine函式使用的矩陣就是2*3的矩陣，

三、仿射變換相關函式介紹

3.1、warpAffine函式

在OpenCV中，仿射變換可以通過函式warpAffine來支持，當然部分單獨的函式也可以進行某個特定的變換，如縮放和旋轉就有單獨的變換函式，

3.1.1、呼叫語法

warpAffine(src, M, dsize, dst=None, flags=None, borderMode=None, borderValue=None)

3.1.2、語法說明

• src：輸入影像矩陣
• M：2*3的仿射變換矩陣，可以自己構建，也可以通過getAffineTransform、getRotationMatrix2D等函式獲取
• dsize：結果影像大小，為寬和高的二元組
• dst：輸出結果影像，可以省略，結果影像會作為函式處理結果輸出
• flags：可選引數，插值方法的組合（int 型別），默認值 INTER_LINEAR，具體取值及含義請參考《https://blog.csdn.net/LaoYuanPython/article/details/111771138 OpenCV-Python影像處理：插值方法及使用resize函式進行影像縮放》的介紹
• borderMode：可選引數，邊界像素模式（int 型別），默認值 BORDER_CONSTANT，具體取值及含義請參考《https://blog.csdn.net/LaoYuanPython/article/details/109441709 OpenCV-Python影像處理：腐蝕和膨脹原理及erode、dilate函式介紹》的介紹
• borderValue：可選引數，邊界填充值，當borderMode為cv2.BORDER_CONSTANT時使用，默認值為None，另外當borderMode取值為cv2.BORDER_TRANSPARENT時，目標影像中與源影像中的離群值相對應的像素不被函式修改(關于離群值老猿暫還未完全弄明白，暫且存疑)
• 回傳值：為仿射變換后的結果影像矩陣，最后的結果矩陣每個像素與原影像像素的對應關系為：
  
  如果flags標記設定了WARP_INVERSE_MAP標記，首先使用invertAffineTransform對變換矩陣進行反轉即求其逆矩陣，然后將其放入上面的公式中，而不是將M直接放入，例如如果變換矩陣是順時針旋轉30°，則設定WARP_INVERSE_MAP標記的情況下實際變換效果是逆時針旋轉30°，這樣做的目的是為了已知目標影像和變換方法的情況下，可以求出原影像，所以這個標記很重要
• 回傳值：仿射變換后的結果影像

3.2、getRotationMatrix2D

getRotationMatrix2D用于獲取一個旋轉二維影像的仿射變換矩陣，

3.2.1、呼叫語法

getRotationMatrix2D(center, angle, scale)

3.2.2、引數語法說明

• center：影像旋轉的旋轉參考中心點坐標二元組
• angle：旋轉角度，坐標原點為左上角情況下正值表示逆時針旋轉
• scale：等比例縮放因子

3.2.3、回傳值

getRotationMatrix2D回傳值為一2*3復合旋轉變換仿射矩陣，按照OpenCV官方介紹，getRotationMatrix2D得到的矩陣為：

在《https://blog.csdn.net/LaoYuanPython/article/details/113841635 影像仿射變換原理4：組合變換及對應變換矩陣》中介紹：
繞指定點旋轉進行組合變換時，參考點p（m，n）順時針旋轉θ的組合變換的齊次坐標表示公式為：

上述公式中θ為正表示是順時針旋轉，與getRotationMatrix2D中的angle引數取值方式相反，由于cos（-θ）=cosθ，sin（-θ）=-sinθ，因此實際上getRotationMatrix2D中旋轉正值的角度時對應的上述矩陣計算公式中sin函式前面的符號需要取反（正號變副號、副號變正號），

而縮放的齊次坐標表示公式為：

用縮放矩陣左乘平移矩陣則可以得到順時針旋轉同時進行縮放的齊次坐標表示公式：

當等比例縮放且縮放因子等于s時，上述公式中的kx、ky使用s替換，則最后的組合變換矩陣為：

可以看到，將getRotationMatrix2D的引數angle（逆時針旋轉為正）的角度變為上述組合矩陣變換公式中的-θ（順時針旋轉為正）、getRotationMatrix2D中的center.x、center.y分別使用m、n替換，取組合變換矩陣的前2行，則二者結果等價，因此getRotationMatrix2D函式獲得的變換矩陣和上述組合變換矩陣連乘的結果相同，

3.3、getAffineTransform函式

getAffineTransform通過確認源影像中不在同一直線的三個點對應的目標影像的位置，來獲取對應仿射變換矩陣，從而用該仿射變換矩陣對影像進行統一的仿射變換，

3.3.1、呼叫語法

retval = cv.getAffineTransform(src, dst)

3.3.1、語法說明

• src：源影像中三角形頂點的坐標，也就是在源影像中任找不在同一直線上的三個點，將三個點的坐標作為三個元素放到src對應串列中
• dst：目標影像中相應三角形頂點的坐標，也就是三個點在變換后影像中的坐標串列，要求與源影像三個點一一對應
• 回傳值：從三對對應的點計算出來的仿射變換矩陣

四、案例：影像旋轉

4.1、輸入影像

影像檔案名：f:\pic\dogAndCat.JPG，本影像比較大，所以裝入后長和寬等比例縮小50%，

4.2、部分自定義函式說明

在使用自定義函式構造變換矩陣時，使用了在付費專欄文章《https://blog.csdn.net/LaoYuanPython/article/details/113879385 影像仿射變換原理5：組合變換矩陣的OpenCV-Python實作》介紹的如下自定義函式：

constructAffineMatrix(rotationAngle=0,xShearAngle=0,yShearAngle=0,translationX=0,translationY=0,scaleX=1,scaleY=1)
    """
    :param rotationAngle: 旋轉角度，影像旋轉時使用，逆時鐘為正、順時針為負，如順時針旋轉30°，則值為-30
    :param xShearAngle: 水平錯切角，水平錯切時使用
    :param yShearAngle: 垂直錯切角，垂直錯切時使用
    :param translationX: x軸平移距離
    :param translationY: y軸平移距離
    :param scaleX: 水平方向縮放因子
    :param scaleY: 豎直方向縮放因子
    :param bTMT: 是否回傳3*3矩陣，為False回傳2*3矩陣，為True回傳3*3矩陣，默認值為False
    :return: 構建的3*3矩陣
    補充說明：
    本函式只能構建旋轉、錯切、平移、縮放四種情況的一種矩陣，引數只取一種情況進行矩陣構造，
    取的情況按照旋轉、錯切、平移、縮放從高到低的優先級排列，高優先級的值非0則低優先級的值忽略，
    如果回傳的矩陣為3*3矩陣，如果該矩陣立即呼叫warpAffine進行仿射變換，需要通過切片方式取前2行傳入warpAffine，如果需要與其他仿射矩陣相乘，則必須保持3*3矩陣，相乘的結果再進行切片處理，因為兩個2*3的矩陣之間沒法相乘（矩陣乘法要求第一個矩陣的列數等于第二個矩陣的行數）
    """

matrixMultiply(*mList)#矩陣連乘函式，將輸入的n個矩陣按從左到右方式相乘，回傳結果矩陣

了解相關知識根據函式的說明自己實作以上函式并不難，且該部分僅在自定義實作仿射矩陣時需要，對仿射矩陣原理不感興趣的可以忽略，

4.3、影像旋轉案例

下面代碼將影像讀入后每按鍵一次在當前位置再逆時針旋轉5°，使用兩種方式實作，一種是直接使用OpenCV函式getRotationMatrix2D構建仿射矩陣，示例代碼為函式rotationByOpenCVMat，一種是使用自定義函式構建仿射矩陣，示例代碼為函式myrotation，

4.3.1 示例代碼

def myrotation(imgfile):
    img = cv2.imread(imgfile)

    img = cv2.resize(img, None,fx=0.5, fy=0.5)
    cv2.putText(img, 'https://blog.csdn.net/LaoYuanPython', (100, 158), fontFace=cv2.FONT_HERSHEY_SIMPLEX,fontScale=0.5, color=(255, 0, 0))
    cv2.imshow('srcimg', img)
    rows,cols,c = img.shape
    #求原影像中心點
    centerX = int(cols/2)
    centerY = int(rows/2)

    angle = 0 #初始角度
    incAngle = 5 #每次增加角度
    factor = 1  # 目標影像縮放因子，為了應對可能變換后影像范圍擴大的情況如放到影像,為1表示不擴大
    edge = int(sqrt(cols*cols+rows*rows)*factor) #目標影像邊長設定為矩形的對角線長度，為了應對矩形繞中心旋轉變換后影像范圍擴大的情況


    destCenter = int(edge / 2) #獲取目標影像中心點
    M1 = constructAffineMatrix(translationX=-1*centerX, translationY=-1 * centerY) #構建參考點（影像中心）平移到原點的平移矩陣
    M3 = constructAffineMatrix(translationX=destCenter, translationY=destCenter) #構建參考點移動到目標影像中心位置的反向平移矩陣

    flag = cv2.INTER_LINEAR #| cv2.WARP_INVERSE_MAP# | cv2.WARP_FILL_OUTLIERS

    while True:
        #復合變換矩陣 = 反向平移矩陣M3*旋轉矩陣M2*平移矩陣M1
        M2 = constructAffineMatrix(rotationAngle=angle)  #構建基礎旋轉矩陣
        M4 = np.matmul(M2,M1) #平移矩陣乘旋轉矩陣
        M = np.matmul(M3, M4) #再乘反向平移矩陣
        M = matrixMultiply(M3,M2,M1) #構建復合旋轉矩陣
        dst1 = cv2.warpAffine(img, M[0:2], (edge,edge), flags=flag) #復合旋轉變換
        dst2= cv2.warpAffine(img, M2[0:2], (edge, edge), flags=flag) #基本旋轉變換

        cv2.imshow('rotationAndTranslation', dst1)
        cv2.imshow('rotationOnly', dst2)
        ch = cv2.waitKey(0)
        if ch == 27:break
        angle = (angle + incAngle) % 360  # 影像角度每次增加incAngle
    cv2.destroyAllWindows()

def rotationByOpenCVMat(imgfile):
    img = cv2.imread(imgfile)
    img = cv2.resize(img,None,fx=0.5,fy=0.5)
    cv2.putText(img, 'https://blog.csdn.net/LaoYuanPython', (100, 158), fontFace=cv2.FONT_HERSHEY_SIMPLEX,fontScale=0.5, color=(255, 0, 0))

    rows, cols, c = img.shape
    # 求原影像中心點
    centerX = int(cols / 2)
    centerY = int(rows / 2)
    factor = 1  # 目標影像縮放因子，為了應對可能變換后影像范圍擴大的情況如放到影像
    edge = int(sqrt(cols * cols + rows * rows) * factor)  # 目標影像邊長設定為矩形的對角線長度，為了應對矩形繞中心旋轉變換后影像范圍擴大的情況,為1表示不擴大
    destCenter = int(edge/2)
    angle = 0  # 初始角度
    incAngle = 5  # 每次增加角度

    flag = cv2.INTER_LINEAR

    while True:
        M = cv2.getRotationMatrix2D((centerX,centerY),angle,1)  # 構建復合旋轉矩陣
        dst = cv2.warpAffine(img, M, (edge,edge), flags=flag)  # 復合旋轉變換

        cv2.imshow('rotationUsinggetRotationMatrix2D', dst)
        ch = cv2.waitKey(0)
        if ch == 27: break
        angle = (angle + incAngle) % 360  # 影像角度每次增加incAngle
    cv2.destroyAllWindows()



rotationByOpenCVMat(r'f:\pic\dogAndCat.JPG')
myrotation(r'f:\pic\dogAndCat.JPG')

由于影像是長方形的，以影像為中心的旋轉程序會導致影像內容超出影像大小，因此在上述代碼中將目標影像設定為了正方形，邊長為原影像的對角線長度，

4.3.2、執行效果

• 使用rotationByOpenCVMat執行后效果
  按鍵觸發影像旋轉，如下動圖所示：

• 使用myrotation執行后繞目標影像中心旋轉效果

• 使用myrotation執行后繞坐標原點旋轉效果
  

從上述三張動圖對比可以看出：

• rotationByOpenCVMat雖然放大了目標影像，但影像的內容并沒有移動到目標影像的中間，導致放大后旋轉還是有影像丟失，而使用myrotation執行后通過控制結果影像平移到目標影像中心，可以達到繞目標影像中心旋轉且旋轉程序中不丟失影像內容
• 使用myrotation執行后繞坐標原點旋轉時，影像在旋轉時可能完全超出目標影像范圍導致不可見
• myrotation是順時針旋轉，rotationByOpenCVMat是逆時針旋轉

五、案例2：任選三個點放大選定區域

詳細案例請見《https://blog.csdn.net/LaoYuanPython/article/details/113924512 openCV仿射變換：getAffineTransform的案例》的介紹，

六、小結

本節介紹了仿射變換的概念、型別、基本仿射變換矩陣、OpenCV-Python與仿射變換相關的主要函式及語法說明，并提供了兩種不同方式實作的影像旋轉和任選三個點將圈定子圖放大的示例，通過閱讀相關內容可以有助于大家理解仿射變換的概念和仿射變換的OpenCV-Python實作方法，

七、后記

仿射變換涉及一些基礎知識的理解如齊次坐標、變換矩陣，對于熟悉線性代數的人理解起來很容易，但對于未學過或者象老猿這種學過又還給老師的人來說則理解很困難，為此老猿花了40余天時間溫習了部分線性代數知識，并查找各種資料，結合自己的理解寫了如下仿射變換原理的博文：

1. https://blog.csdn.net/LaoYuanPython/article/details/113743213 影像仿射變換原理1：齊次坐標來龍去脈詳解
2. https://blog.csdn.net/LaoYuanPython/article/details/113804210 影像仿射變換原理2：矩陣變換、線性變換和影像線性變換矩陣
3. https://blog.csdn.net/LaoYuanPython/article/details/113788380 影像仿射變換原理3：仿射變換型別及變換矩陣詳解
4. https://blog.csdn.net/LaoYuanPython/article/details/113841635 影像仿射變換原理4：組合變換及對應變換矩陣
5. https://blog.csdn.net/LaoYuanPython/article/details/113879385 影像仿射變換原理5：組合變換矩陣的OpenCV-Python實作

這些仿射變換原理方面的博文濃縮了仿射變換相關的基礎知識，可以使得完全不了解仿射變換的人員理解仿射變換的基本原理和具體應用矩陣的構建，不過相關知識發布在了付費專欄，感興趣的同仁可以訂閱后閱讀，

更多影像處理的介紹請參考專欄《OpenCV-Python圖形影像處理 https://blog.csdn.net/laoyuanpython/category_9979286.html》和《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初學者疑難問題集》相關文章，

更多影像處理的數學基礎知識請參考專欄《人工智能數學基礎 https://blog.csdn.net/laoyuanpython/category_10382948.html》

寫博不易，敬請支持：

如果閱讀本文于您有所獲，敬請點贊、評論、收藏，謝謝大家的支持！

參考資料：

1. [Python影像處理] 六.影像縮放、影像旋轉、影像翻轉與影像平移

關于老猿的付費專欄

1. 付費專欄《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt開發圖形界面Python應用》專門介紹基于Python的PyQt圖形界面開發基礎教程，對應文章目錄為《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt開發圖形界面Python應用專欄目錄》；
2. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音視頻開發專欄 )詳細介紹moviepy音視頻剪輯合成處理的類相關方法及使用相關方法進行相關剪輯合成場景的處理，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音視頻開發專欄文章目錄》；
3. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初學者疑難問題集》為《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的伴生專欄，是筆者對OpenCV-Python圖形影像處理學習中遇到的一些問題個人感悟的整合，相關資料基本上都是老猿反復研究的成果，有助于OpenCV-Python初學者比較深入地理解OpenCV，對應文章目錄為《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初學者疑難問題集專欄目錄 》
4. 付費專欄《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬蟲入門 》站在一個互聯網前端開發小白的角度介紹爬蟲開發應知應會內容，包括爬蟲入門的基礎知識，以及爬取CSDN文章資訊、博主資訊、給文章點贊、評論等實戰內容，

前兩個專欄都適合有一定Python基礎但無相關知識的小白讀者學習，第三個專欄請大家結合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python圖形影像處理 》的學習使用，

對于缺乏Python基礎的同仁，可以通過老猿的免費專欄《https://blog.csdn.net/laoyuanpython/category_9831699.html 專欄：Python基礎教程目錄）從零開始學習Python，

如果有興趣也愿意支持老猿的讀者，歡迎購買付費專欄，

跟老猿學Python！

? ? 前往老猿Python博文目錄 https://blog.csdn.net/LaoYuanPython ?