1、如何解決光流跟蹤程序中丟失特征點的問題

建議采用自適應匹配幀插入方案，以及時停止光流跟蹤，并在正確的時間插入匹配幀并檢測新功能點，以保持 LK-ORB-SLAM2 運行

2、ORB-SLAM2的作業流程：檢測功能點、立體聲匹配、功能匹配和運動估計

首先提取特征點，功能檢測后是立體聲匹配程序，然后，在前一幀中創建的場景點投影到當前幀中，并與當前幀匹配以獲得多個功能對應，最后，可以使用通用的 3D-2D 演算法計算運動，

3、LK-ORB-SLAM2的作業流程

當 LK-ORB-SLAM2 加載幀時，它將確定幀是否是第一幀，如果是，LK-ORB-SLAM2 將執行初始化：檢測幀中的特征點，然后通過立體聲匹配獲得一些場景點（立體聲匹配的方法將在 Sect. 4.2中描述），第一幀將設定為匹配幀，初始化后，使用光流跟蹤功能點以獲取特征對應，功能點在相機運動期間不斷丟失，然后我們建議的匹配幀插入方案將在正確的時間插入匹配幀，（匹配幀插入方案將在第4.4條中描述），LK-ORB-SLAM2 將檢測匹配幀中的功能點，并執行功能匹配以獲取功能對應，當獲得足夠的函式時，可以使用通用的 PnP 演算法[3]計算運動（PnP 演算法的原則位于參考 [3]的這一節中：3D 到 2-D：來自三維結構和影像特征對應的運動），

流程圖

4、功能提取演算法

特征點的性能對視覺氣味學有指數級的影響，根據[17]，ORB 比 SIFT 效率高得多，并加快了強大的功能（SURF）[27]，ORB 基于加速段測驗（FAST）[28]關鍵點探測器和二進制強健的獨立基本功能（BRIEF）[29]描述符的功能，

ORB 的缺點是特征點的分布相對集中，這不利于在隨后的幀中找到這些點，ORB-SLAM2 將影像分成幾個矩形塊，并從每個矩形塊中單獨提取要點來解決這個問題，LK-ORB-SLAM2 使用此方法優化 ORB，

5、立體聲匹配

功能檢測后，將使用立體聲匹配演算法計算場景點的深度，圖3說明了立體聲匹配的程序，對于左影像中的藍色特征點，在右影像的同一行中創建帶形搜索區域，該區域中的點匹配候選者，對于右影像中的兩個匹配候選者，分別計算其簡要描述符，然后分別比較描述距離（有關特征描述符和距離比較的更多資訊，請參閱文獻[3]），距離較小的點是左圖中藍點的匹配點，

6、光流跟蹤

為了解決功能匹配需要太多時間的問題，LK-ORB-SLAM2 使用光流來計算前一幀中的功能點的移動，以便直接在當前幀中查找這些功能點，從而直接獲得功能對應，圖4顯示了光流跟蹤的程序，其中發現了兩個特征對應，

參考文獻：Fast stereo visual odometry based on LK optical flow and ORB-SLAM2

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/310672.html

標籤：其他

上一篇：OpenCV的影像加法運算