1  3D 視覺   

    常見的三維視覺技術，包含雙目、ToF、激光三角、結構光等，如下圖：

    1）毫米級

        雙目、ToF、結構光(散斑)的精度為 mm 級，多見于消費領域，如：導航避障，VR/AR，刷臉支付等

    2）微米級

        線激光、結構光(編碼)的精度是 um 級，主要應用在工業領域，如：表面缺陷檢測、三維測量等

    3）納米級

        另外，還有 nm 級精度的光譜共焦技術，可用于透明材質物體的三維測量

2  激光三角法

    按照激光投射的不同模式，激光三角法有點激光、線激光、多線激光、激光網格等

2.1  測量原理

    為了直觀的了解激光三角法，用點激光位移傳感器，演示其測量原理如下：

    假定相機主光軸和激光平面的夾角為 $\theta$，鏡頭的像方焦距為 $f^{\prime}$，激光平面和主光軸的交點為 $H_2$，鏡頭前主點到 $H_2$ 的距離為 $l$

    $Z_1$ 和 $Z_2$ 為被測物沿光平面的縱向位移，$z_1^{\prime}$ 和 $z_2^{\prime}$ 為對應在影像傳感器上的物理尺寸位移

    則通過相似三角形，有如下等式

     $\quad \begin{split} \frac{z_1^{\prime}}{f^{\prime}} = \frac{Z_1 \cdot sin\theta }{l -Z_1 \cdot cos\theta} \end{split}$（過 $H_3$ 作到主光軸的垂線）

     $\quad \begin{split} \frac{z_2^{\prime}}{f^{\prime}} = \frac{Z_2 \cdot sin\theta}{l+Z_2 \cdot cos\theta} \end{split}$（過 $H_1$ 作到主光軸的垂線）

    進一步化簡得

     $\quad \begin{split} Z_1 = \frac{z_1^{\prime} \cdot l}{f^{\prime} \cdot sin\theta + z_1^{\prime} \cdot cos\theta}\end{split}$（近端視場） 

     $\quad \begin{split} Z_2 = \frac{z_2^{\prime} \cdot l}{f^{\prime} \cdot sin\theta - z_2^{\prime} \cdot cos\theta}\end{split}$（遠端視場）

2.2  精度范圍

    在3D視覺技術中，從被測物的大小和縱向精度來考慮，廣義三角法 (包含激光三角法) 處于中間的位置，如下：

    - 被測物體的大小范圍 1mm ~ 8m，對應精度 1um ~ 0.4mm

3  線激光3D相機

    線激光3D相機，是一種基于三角測量原理，通過影像傳感器，捕獲激光發生器投射在物體表面的激光線資訊，重構物體表面輪廓資訊的三維相機

    其結構示意圖，如下：

3.1  深度測量范圍

3.1.1  鏡頭景深

    對于普通的3D視覺系統 (物面∥像面)，深度測量范圍即鏡頭的景深，假設放大率 $\begin{split}\beta = \frac{y^{\prime}}{y}\end{split}$，鏡頭的有效F數為 $(f/nr)_e$，則景深  $\begin{split}DOF \approx \frac{2 \cdot (f/nr)_e \cdot \delta}{\beta^2} \end{split}$

    當系統設計的光學放大率 $\beta$ 較大時，意味著景深較小，如果要繼續增大景深(尤其物體表面和鏡頭主面不平行)，則只能增加 F數，即減小光圈

    實際應用中，光圈的減小是有一定限度的：

    1)  如果光圈太小，則會產生衍射，使得較小的細節資訊變的模糊(即在最佳焦點下可決議的特征尺寸會變大)

    2)  隨著光圈的減小，進入影像傳感器的光線也會越少，相應地，就要增大(激光器)功率或(相機)曝光時間

3.1.2  沙姆定律

    在光圈調節受限的情況下，如果仍有部分成像不清晰，則可采用沙姆結構，將鏡頭逐漸傾斜，從而使整個物體表面都可以清晰成像，如下圖：

    線激光3D相機，為了增大深度測量范圍，通常采用沙姆結構，如下：

    - 被攝物平面 (激光平面)、鏡頭平面、膠片平面 (像平面) 交于一條直線，即沙姆定律(Scheimpflug principle)

    假設成像芯片的膠深(Depth of Focus)為 ±g，則成像系統的景深(Depth of Field) 為下圖中的陰影部分，即從 $\phi_1$ 到 $\phi_2$ 間的扇形區域

3.2  結構形式

    線激光3D相機，基本的結構形式有四種：直射式、斜射式、反射式、同側式，其它的結構，多是在此基礎上的發展演變

    直射式，布置安裝簡單，計算結果的應用非常直觀，是目前最常用，也是一種通用的結構形式；

    斜射式，布置安裝簡單，計算結果的應用不夠直觀，多用于對精度要求高的平面物體的特征測量；

    反射式，布置安裝復雜，計算結果的應用不夠直觀，多用于反射特性較弱的深色物體的表面測量；

    同側式，多用于高反光件，比較少見 (因為直射式和斜射式，通過俯仰一定的角度，也可達到類似的效果)

3.2.1  解析度

    線激光3D相機的解析度，可分為三個方向：

      1）激光條方向 (x軸)：$\Delta x = \dfrac{\text 沿光條的視場寬度}{\text對應像素數量}$  

      2）運動方向 (y軸)：$\Delta y = \dfrac{\text運動速度}{\text相機幀率}$，或 取決于編碼信號

      3）深度方向 (z軸)：$\Delta z$ 取決于系統光學放大率、相機光軸和激光平面的夾角、激光條提點精度 (如：$\dfrac{1}{16}$像素，$\dfrac{1}{32}$像素，$\dfrac{1}{64}$像素，...)

    相機光軸和激光平面的夾角 $\theta$ 越大，則相應的 $z$ 軸解析度越高，如下：

    假定沿激光條方向的解析度，在以上結構中都為 $\Delta x$，則有：

    $\quad\Delta z_{直射式} = \dfrac{\Delta x}{\sin \alpha_1}$，$\quad\Delta z_{斜射式} = \dfrac{\Delta x}{\tan \alpha_2}$

    $\quad\Delta z_{反射式} = \dfrac{\Delta x \cdot \cos\beta_3}{\sin (\alpha_3+\beta_3)}$，$\quad\Delta z_{同側式} = \dfrac{\Delta x \cdot \cos\beta_4}{\sin (\beta_4 -\alpha_4)}$

    因此，如果只考慮 θ 角的影響，則 z 向解析度為：反射式 > 斜射式 > 直射式 > 同側式

3.2.2  光學遮擋

    雖然增大相機光軸和激光平面之間的夾角，可以提高 z 軸解析度，但隨著夾角 θ 的增大，光學遮擋現象也會愈發明顯

    尤其是物體表面有凹凸起伏時，四種結構均存在一定的遮擋：激光線照不到的區域稱為陰影，相機接收不著反射光線的區域稱為盲區

    因為激光發射線正對被測物，所以直射式的陰影最小；同理，因為相機正對被測物，所以反射式的盲區最小

    實際中，大部分被測物的表面，通常都是凹凸起伏的，因此，θ 角的設計，要充分考慮精度(z軸) 和 遮擋(陰影和盲區) 的平衡 

    此外，也可增加激光器數量，從不同方向投射，來減少陰影；或者增加相機數量，從不同角度拍攝，將多幅影像進行融合，來降低盲區

 3.3  散射特性

    當激光束打在不同的被測物上時，考慮物體表面的散射特性，可分為四種情況：

     a）激光打在鏡面上時，發生鏡面反射，反射方向取決于激光和表面的相對方向，反射光一般不會進入相機，表現為無信號

     b）激光打在朗伯體上，發生均勻散射，散射的強度正比于觀察方向和表面法向量夾角的余弦，是一種最理想的情況

     c）激光打在普通物體上，通常發生定向散射，即最大散射強度出現在一個理想的反射方向上，散射分布的角半寬，取決于表面粗糙度

     d）激光打在半透明物體上(塑料、玻璃等)，光線會進入物體內部，發生體散射 (volume scattering)

    實際中，物體表面的散射特性是 a) b) c) d) 的混合，其中占主導地位的散射特征，主要取決于表面粗糙度，如下圖：

    - 隨著表面粗糙度的增加，物體的散射特性，由鏡面散射占主導地位，逐漸演變為漫散射占主導

    如果物體表面的顆粒大小和入射光的波長相近時，激光容易發生相長和相消干涉，產生散斑噪聲，如下：

    此外，激光散斑噪聲，也與成像系統的放大率有關，放大率 β 越大，散斑噪聲愈發明顯，

    保持系統結構不變，更換焦距為之前 1/2 的鏡頭，對于同樣的激光條，新拍攝的影像，如下：

    對于線激光3D相機，如果出現比較明顯的散斑噪聲，會影響光條中心點的提取精度，如下：

3.4  多重反射

    如果被測物體的表面不均勻，則除了光學遮擋外，還有可能出現多重反射，如下圖：

    - 光線1是入射光在物體表面發生的第一次反射，光線2是入射光在物體表面發生的第二次反射，這兩條光線在探測器上的成像位置不同

    二次或多次反射的光線，與一次反射的光線相比，在光條影像上會看到明顯變粗的傾向，因此，可將寬度超過一定閾值的光條剔除掉

    但是，對于二次反射的光線，如果其反射的強度大于一次反射的強度，則可能會形成假像，影響測量精度

    這種二次反射形成的假像，在物體材質為金屬且表面存在小孔洞時，出現的概率較大，目前暫無有效的方法 (潛在可能解決的一個方向是線偏振)

4  行業淺析

    從線激光3D相機到3D視覺產業，再到整個機器視覺的產業鏈圖譜，如下：

     1）上游是基礎器件的生產商，如鏡頭、影像傳感器、演算法平臺等；

     2）中游為視覺系統制造商，如 ToF相機、線激光3D相機、結構光相機等；

     3）下游則是圍繞中游提供的視覺系統，深入到各個行業的系統集成商，如3C行業的缺陷檢測、汽車制造的質量控制等

    隨著國家智能制造大戰略的推進，整個行業將迎來快速增長期，尤其是國產化替代的行程會大大加快，替代程序會先從產業鏈的下游，再到中游，最后擴展到上游

    以線激光3D相機為例，在 2015年以前，第一梯隊主要是Keyence、LMI、Cognex等國外品牌，第二梯隊有SICK、米銥、SmartRay等眾多國外廠家，國內鮮有成規模的企業與之競爭

    然而，在 2020年左右，國內涌現出了像是深視智能、中科行智等一批國產廠商，雖然暫時不能完全替代第一梯隊，但已經對第二梯隊形成了較大的沖擊

    由此，預測在未來的 5-8年內，機器視覺行業內將會出現不止一家獨角獸企業，完成產業鏈上-中-下游的全面整合，對當前第一二梯隊的國外品牌形成全面的沖擊，至少完成50%以上的國產化替代

    未來機器視覺行業內，獨角獸企業的形成有兩種可能：

     一種可能是，做某行業系統集成的下游企業，在業務拓展到一定規模后，反過來向上收購中游的3D視覺企業，最后把觸手伸向上游的基礎器件廠家，完成全產業鏈的整合

    另一種則是，中游的視覺系統企業，在給下游企業提供視覺設備時，逐漸積累了具體行業內的應用經驗，從而引入新的業務，形成對原來下游企業的成本優勢，從而完成產業鏈的整合

參考資料

  景深與焦深

  解析度與對比的限制：艾里斑

  Scheimpflung principle

  LMI 3D Line Confocal Sensors

  GOM High Precision 3D Metrology 

  Teledyne e2v How does laser triangulation work

  Understanding laser-based 3D triangulation methods

 《Laser Measurement Technology》ch10

 《3D Imaging, Analysis and Applications》2nd, ch5  

 《Machine Vision: Automated Visual Inspection:Theory, Practice and Applications》 

原文鏈接： http://www.cnblogs.com/xinxue/

專注于機器視覺、OpenCV、C++ 編程

標籤：其他

上一篇：一起來打靶 02

下一篇：云計算第五章