1. 關于針孔相機模型

回憶初中做的蠟燭投影實驗即可，記住以下關鍵點：

• 對于相機坐標系，習慣上z軸指向相機正前方，x軸指向右方，y軸指向下方，xyz成右手法則
• 成像平面是相機中用于成像的感光區域，影像是倒著的，而歸一化成像平面在相機外側一米處，成像是正常的
• 相機坐標系轉到成像平面坐標系，通過相似三角形的性質和焦距 f f f來計算，即 X ′ = f X Z X^{'}= f\frac{X}{Z} X′=fZX?
• 成像平面坐標系轉到像素坐標系，兩者相差一個縮放和一個原點的平移
  { u = f x X Z + c x v = f y Y Z + c y = > { u = α f X Z + c x v = β f Y Z + c y (1.1) \begin{cases} u = f_x\frac{X}{Z}+c_x \\ v = f_y\frac{Y}{Z}+c_y \end{cases} => \begin{cases} u = \alpha f\frac{X}{Z}+c_x \\ v = \beta f\frac{Y}{Z}+c_y \end{cases} \tag{1.1} {u=fx?ZX?+cx?v=fy?ZY?+cy??=>{u=αfZX?+cx?v=βfZY?+cy??(1.1)
  所以fx和fy的物理意義是縮放，cx和cy的物理意義是平移，fx,fy,cx,cy組成了相機的內參（camera intrinsic）矩陣K，有時需要自己確定相機的內參，也就是所謂的標定，標定演算法業已成熟（如著名的單目棋盤格張正友標定法）
• 一個世界坐標點轉到相機坐標系再轉到像素坐標系（影像坐標系），涉及到相機的外參（相機的位姿R,t）、相機的內參，完整的轉化程序如下公式：
  Z c P u v = Z [ u v 1 ] = K P c = [ f x 0 c x 0 f y c y 0 0 1 ] P c = K ( R P w + t ) = K T P w (1.2) Z_c P_{uv} = Z \begin{bmatrix} u\\v\\1 \end{bmatrix} = KP_c = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} P_c = K (RP_w + t) = KTP_w \tag{1.2} Zc?Puv?=Z???uv1????=KPc?=???fx?00?0fy?0?cx?cy?1????Pc?=K(RPw?+t)=KTPw?(1.2)
  其中K為內參，Pc為點的相機坐標系值，Pw為點的世界坐標系值，在等式最右邊K是三階的，而T是四階的，所以等式最右邊先進行齊次坐標系運算，再去掉一階進行三階運算，如果Zc為1，則等式為點P到歸一化平面上的投影，然后再轉影像坐標系，

2. 關于影像畸變

2.1 什么是畸變

畸變就是光線穿過透鏡投影到成像平面時的位置發生變化，
?
常見的畸變有兩種：

• 徑向畸變：由透鏡形狀引起的畸變，相關畸變引數： k 1 , k 2 , k 3 k_1,k_2,k_3 k1?,k2?,k3?，徑向畸變又分為桶形畸變和枕形畸變
  • 桶形畸變：影像放大率隨著與光軸之間的距離增加而減小，所以有影像中間突出來的感覺
  • 枕形畸變：與桶形畸變相反，影像放大率隨著與光軸之間的距離增加而增加，所以有影像中間凹進去，四周突出的感覺
• 切向畸變：由于相機制作工藝，透鏡和成像平面沒有完全平行而造成的畸變，相關畸變引數： p 1 , p 2 p_1,p_2 p1?,p2?

2.2 畸變引數

必須弄清楚以下幾點：

1. 不正常的影像（原始影像）稱為畸變影像（distorted image）
2. 正常影像（去畸變后的影像）稱為去畸變影像（undistorted image）
3. 畸變引數的作用是：找到去畸變影像中像素點位置和與其對應的畸變影像中像素點位置的映射關系，一定要注意順序，是去畸變影像映射到畸變影像，看以下公式：
   首先，找到去畸變影像坐標點 ( u u n d i s t o r t e d , v u n d i s t o r t e d ) (u_{undistorted},v_{undistorted}) (uundistorted?,vundistorted?)在成像平面上的位置 ( x u n d i s t o r t e d , y u n d i s t o r t e d ) (x_{undistorted},y_{undistorted}) (xundistorted?,yundistorted?)：
   [ x u n d i s t o r t e d y u n d i s t o r t e d 1 ] = [ 1 f x 1 f y 1 ] [ u u n d i s t o r t e d ? c x v u n d i s t o r t e d ? c y 1 ] (2.1) \begin{bmatrix} x_{undistorted}\\y_{undistorted}\\1 \end{bmatrix} = \begin{bmatrix} \frac{1}{f_x} & \frac{1}{f_y} &1 \end{bmatrix} \begin{bmatrix} u_{undistorted}-c_x\\v_{undistorted}-c_y\\1 \end{bmatrix} \tag{2.1} ???xundistorted?yundistorted?1????=[fx?1??fy?1??1?]???uundistorted??cx?vundistorted??cy?1????(2.1)
   然后計算該成像平面點對應的畸變點的位置：
   { x d i s t o r t e d = x u n d i s t o r t e d ( 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 ) + 2 p 1 x y + p 2 ( r 2 + 2 x 2 ) y d i s t o r t e d = y u n d i s t o r t e d ( 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 ) + p 1 ( r 2 + 2 x 2 ) + 2 p 2 x y (2.2) \begin{cases} x_{distorted}= x_{undistorted}(1+k_1 r^2 + k_2 r^4 + k_3 r^6) + 2p_1xy + p_2(r^2+2x^2) \\ y_{distorted}= y_{undistorted}(1+k_1 r^2 + k_2 r^4 + k_3 r^6) + p_1(r^2+2x^2) + 2p_2xy \end{cases} \tag{2.2} {xdistorted?=xundistorted?(1+k1?r2+k2?r4+k3?r6)+2p1?xy+p2?(r2+2x2)ydistorted?=yundistorted?(1+k1?r2+k2?r4+k3?r6)+p1?(r2+2x2)+2p2?xy?(2.2)
   得到畸變點的位置后，再用內參計算出其在畸變影像上的位置：
   { u d i s t o r t e d = f x x d i s t o r t e d + c x v d i s t o r t e d = f y y d i s t o r t e d + c y (2.3) \begin{cases} u_{distorted} = f_x x_{distorted} + c_x \\ v_{distorted} = f_y y_{distorted} + c_y \end{cases} \tag{2.3} {udistorted?=fx?xdistorted?+cx?vdistorted?=fy?ydistorted?+cy??(2.3)
   通過以上操作，就可以取出畸變影像中 ( u d i s t o r t e d , v d i s t o r t e d ) (u_{distorted},v_{distorted}) (udistorted?,vdistorted?)中的像素值，賦值到去畸變影像中的 ( u , v ) 上 (u,v)上 (u,v)上

2.3 關于雙目相機模型

雙目相機模型記住以下關鍵點：

• 原理：通過同步采集左右相機的影像，計算影像間的視差（），再通過幾何模型計算、估計處該點的深度
• 基線b：是雙目相機光心之間的距離，基線越長，雙目能測到的最大距離越遠，反之，小型雙目相機只能測量很近的距離，