基于計算機視覺的三維重建技術，是指利用二幅或多幅二維影像來恢復空間物體表面的幾何資訊，其程序是成像程序的逆程序[1]，在三維重建發展的早期，受到計算處理能力的限制和理論研究水平的限制，真實物體的建模需要昂貴的專用設備如視覺坐標測量機等來實作，并且受灰度匹配原則的限制，單一攝像機所拍攝的兩幅影像不能有太大的平移和旋轉，攝像機的運動收到嚴格限制，本課題的研究目的就是解決該項問題，用最普通的數碼設備（如手持家用數碼相機）從多視角獲取物體序列影像，經過普通計算單元（如PC機）的處理，確定多視圖的對應點與多視圖之間的幾何約束關系，恢復出特征點在三維空間的坐標與每幅影像對應的攝像機在三維空間中的坐標，獲得三維模型，
針對非特定環境下的三維模型重建受到背景干擾而無法達到精度的問題，提出了采用基于Grabcut的影像分割方法，該方法基于圖割理論能量最小化的原則，可以較好的分離前景背景，去除影像的冗余資訊，且本文用三視圖進行空間點的重建，相對于傳統的只用兩幅圖的重建演算法精度更高，穩定性更好，
-
- 影像預處理
影像的獲取是基于立體視覺三維模型重建的基礎，在通過影像傳感器（如CCD攝像機）獲取影像后，考慮到光照條件、攝像機性能、視點差異等影響，我們需要對獲取的影像做進一步處理，
影像預處理的目的在于：提高影像的清晰度，改善影像的視覺效果，將影像轉換成一種更適合于人或機器分析處理的形式[2]，包括兩個部分：1）影像的平滑、濾波及增強2）背景與目標物體的分離，
在機器視覺的應用中，為了從影像中獲取世界坐標系中三維物點與像點的對應關系，計算物體的位置、形狀等資訊，必須建立攝像機成像的幾何模型并獲得其引數，在大多數條件下這些引數必須通過實驗與計算才能得到,這個求解引數的程序就稱之為攝像機標定[3]，攝像機標定確定了攝像機內部幾何和光學特性(內部引數)，相對世界坐標系（如圖）的攝像機坐標系的三維位置和方向(外部引數)，標定的精度決定了模型重建的精度，因此相機標定采用的演算法至關重要，
:
1.3 特征匹配
匹配是三維模型重構中的一個核心問題，尋找兩幅或多幅影像中的對應特征點，使影像間的均方誤差最小化,就可以得到更精確的相對位置關系,從而對兩幀影像進行匹配，現有的特征點提取方法可以分為基于模板的特征點檢測，基于邊緣的特征檢測和基于亮度變換的三類[4]，文中SIFT特征匹配演算法是一種穩定的區域特征匹配演算法[5]，該演算法匹配能力較強，具有優良的尺度和旋轉不變性以及對光照和視角變化的魯棒性，廣泛應用于機器人視覺、三維目標重建及醫學影像配準等領域，
-
- 三維重建
在進行特征點匹配并且得到相機的內外引數后，就可以從像素坐標系中的某個像素點逆向映射成世界坐標系中的點，通過特征點在影像中的匹配關系，建立方程組，求解各個特征點在世界坐標系中的坐標值，再將各個特征點按對應關系連接成相應的三維立體圖，完成物體的三維重建[6]，
2系統設計
2.1影像預處理
針對影像質量退化的問題，采取基于簡化脈沖耦合神經網路模型的噪聲濾波及影像增強，在本節重點討論的影像分割中，采用基于Grabcut的影像分割方法，
Grabcut是一種互動式的影像分割方法，以簡單的“硬分割”代替三分圖的構建，減少了人工互動部分的作業量， 是Rother等人對Graph cuts演算法的改進[7]， 該方法有以下三點改進：1）采用高斯混合模型(Gaussian Mix-ture Model,GMM)來取代直方圖，完成對彩色影像的目標提取，2）多次迭代估計GMM引數取代一次最小化估計完成能量最小化的程序，3）通過非完全標記的方法降低了對互動作業的要求，
Grabcut目標提取演算法中每一個GMM都可以看做是一個K維協方差，在優化程序中引入向量k作為每個像素的獨立GMM引數，相應的像素點上不透明度a=0或a=1，用 q表示目標/背景顏色分布的概率模型，所以影像分割分割問題轉化為
Grabcut的主要步驟如下：
初始化：1）人工設定背景TB來初始化三分圖，前景區域TF為空，未知區域TU取背景TB的補集，2）將背景區域像素的.a值設為0，未知區域像素的a值設為1，3）分別用α=0和α=1兩個集合來初始化前景與背景的高斯混合模型，
迭代最小化：1）求出未知區域中每個像素n所對應的GMM引數，，2）由各個像素的資料切得高斯混合模型引數q,，3）利用最小能量 得到初始分割，4）重復執行步驟1），直到收斂，
用戶互動編輯：1）人工互動制定影像中某些像素的a值，令其為0或1，更新三分圖，執行迭代最小化中的第三步驟，2）優化：重新執行整個迭代最小化的步驟，
若用戶給出的初始化資訊沒有得到十分滿意的分割效果則進一步互動，利用更多的資訊重新最小化能量，直到滿意的分割結果，
寬基線條件下的特征匹配是要提取穩定的特征并進行描述，從而實作差異較大的兩幅影像之間的特征匹配，
影像中SIFT特征向量生成的演算法包含以下四步：1）尺度空間極值檢測，確定關鍵點位置和所在尺度，2）通過擬合函式精確確定關鍵點位置和尺度，去除低對比度的點，3）通過梯度方向分布特性為每個關鍵點指定方向引數，4）生成SIFT特征向量，
如圖左部分以關鍵點為中心取8×8的視窗，在每4×4的小塊上計算8個方向的梯度方向直方圖，即可形成一個種子點，右部分關鍵點由2×2共4個種子點組成,每個種子點有8個方向向量資訊,實際計算程序中,為了增強匹配的穩健性,對每個關鍵點使用4×4共16個種子點來描述,這樣對于一個關鍵點就可以產生128個資料,即最終形成128維的SIFT特征向量，
圖所示為特征匹配的一般流程，SIFT描述子生成后，采用歐式距離作為相似性度量，
D越小，表明特征點對應距離越近，形似程度越高，匹配程序中對待匹配的點采用最近領域法搜索影像2中的特征點，找到最近的兩個特征點，如果最近距離和次近距離的比值小于某個閾值，則接受這一對匹配點，據此得到的初始匹配結果后，采用RANSAC(隨機抽樣一致性演算法)剔除誤匹配，
2.4三維重建
本文采用一部數碼相機從不同角度對同一物體拍3張照片，并確保同一特征點出現在3張照片中，然后通過三幅視圖的影像對應計算可得到三焦點張量，與兩視圖幾何的基本矩陣類似只與相機引數有關，相機矩陣在相差一個三維空間的射影變換下可借由三焦點張量恢復，同時確定影像之間的基本矩陣，
具體流程如下：1）從序列視圖中估計二視圖幾何，然后連接兩視圖的匹配集，計算跨三幅視圖的一組特征點對應，2）由至少7組非退化的對應關系計算三焦點張量，3）由三焦點張量恢復基本矩陣，4）確定兩個相機的矩陣后，在相差一個射影矩陣下恢復第三個相機矩陣，5）可行性誤差處理，
在得到三維坐標后，還要進行物體表面的可視化，，文中采用Delaunay三角剖分法重建出物體的三維表面，最后通過OpenGL完成紋理映射，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/128040.html
標籤：其他
上一篇：數值最優化—優化問題的解(二)