使用OpenCV校準魚眼鏡頭

點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

01.簡介

當我們使用的魚眼鏡頭視角大于160°時，OpenCV中用于校準鏡頭“經典”方法的效果可能就不是和理想了，即使我們仔細遵循OpenCV檔案中的步驟，也可能會得到下面這個奇奇怪怪的照片：

如果小伙伴也遇到了類似情況，那么這篇文章可能會對大家有一定的幫助，

從3.0版開始，OpenCV包含了cv2.fisheye可以很好地處理魚眼鏡頭校準的軟體包，但是，該模塊沒有針對讀者的相關的教程，

02.相機引數獲取

校準鏡頭其實只需要下面2個步驟，

• 利用OpenCV計算鏡頭的2個固有引數，OpenCV稱它們為K和D，我們只需要知道它們是numpy陣列外即可，

• 通過K和D對影像進行去畸變矯正，

計算K和D

• 下載棋盤格圖案并將其列印在紙上（字母或A4尺寸），大家要盡量將這張紙粘在堅硬且平坦的物體表面，例如一塊硬紙板上，因為這里的關鍵是直線必須是直線，

• 將圖案放在相機前面拍攝一些影像，圖案要取在不同的位置和角度，這里的關鍵是圖案需要以不同的方式出現失真（以便OpenCV盡可能多地了解鏡頭相關引數），

• 我們先將這些圖片保存在JPG檔案夾中，

• 現在我們只需要將此Python腳本片段復制到calibrate.py先前保存這些影像的檔案夾中的檔案中，就可以對其進行命名，

import cv2
assert cv2.__version__[0] == '3', 'The fisheye module requires opencv version >= 3.0.0'
import numpy as np
import os
import glob
CHECKERBOARD = (6,9)
subpix_criteria = (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 0.1)
calibration_flags = cv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC+cv2.fisheye.CALIB_CHECK_COND+cv2.fisheye.CALIB_FIX_SKEW
objp = np.zeros((1, CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)
objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)
_img_shape = None
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
images = glob.glob('*.jpg')
for fname in images:
    img = cv2.imread(fname)
    if _img_shape == None:
        _img_shape = img.shape[:2]
    else:
        assert _img_shape == img.shape[:2], "All images must share the same size."
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, cv2.CALIB_CB_ADAPTIVE_THRESH+cv2.CALIB_CB_FAST_CHECK+cv2.CALIB_CB_NORMALIZE_IMAGE)
    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)
        cv2.cornerSubPix(gray,corners,(3,3),(-1,-1),subpix_criteria)
        imgpoints.append(corners)
N_OK = len(objpoints)
K = np.zeros((3, 3))
D = np.zeros((4, 1))
rvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]
tvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_OK)]
rms, _, _, _, _ = \
    cv2.fisheye.calibrate(
        objpoints,
        imgpoints,
        gray.shape[::-1],
        K,
        D,
        rvecs,
        tvecs,
        calibration_flags,
        (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6)
    )
print("Found " + str(N_OK) + " valid images for calibration")
print("DIM=" + str(_img_shape[::-1]))
print("K=np.array(" + str(K.tolist()) + ")")
print("D=np.array(" + str(D.tolist()) + ")")

運行python calibrate.py，如果一切順利，腳本將輸出如下內容：

Found 36 images for calibration
DIM=(1600, 1200)
K=np.array([[781.3524863867165, 0.0, 794.7118000552183], [0.0, 779.5071163774452, 561.3314451453386], [0.0, 0.0, 1.0]])
D=np.array([[-0.042595202508066574], [0.031307765215775184], [-0.04104704724832258], [0.015343014605793324]])

03.影像畸變矯正

獲得K和D后，我們可以對以下情況獲得的影像進行失真矯正：我們需要取消失真的影像與校準期間捕獲的影像具有相同的尺寸，也可以將邊緣周圍的某些區域裁剪掉，來保證使未失真影像的整潔，通過undistort.py使用以下python代碼創建檔案：

# You should replace these 3 lines with the output in calibration step
DIM=XXX
K=np.array(YYY)
D=np.array(ZZZ)
def undistort(img_path):
    img = cv2.imread(img_path)
    h,w = img.shape[:2]
    map1, map2 = cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2)
    undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    cv2.imshow("undistorted", undistorted_img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
if __name__ == '__main__':
    for p in sys.argv[1:]:
        undistort(p)

現在運行python undistort.py file_to_undistort.jpg，

矯正前

矯正后

如果大家仔細觀察，可能會注意到一個問題：原始影像中的大部分會在此程序中被裁剪掉，例如，影像左側的橙色RC汽車只有一半的車輪保持在未變形的影像中，實際上，原始影像中約有30％的像素丟失了，小伙伴們可以思考思考如果我們想找回丟失的像素該這么辦呢？

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、演算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“，請按照格式備注，否則不予通過，添加成功后會根據研究方向邀請進入相關微信群，請勿在群內發送廣告，否則會請出群，謝謝理解~