OmniSLAM：多魚眼相機的SLAM系統-有解無憂

點云PCL免費知識星球，點云論文速讀，

文章：OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

作者：Changhee Won, Hochang Seok , Zhaopeng Cui , Marc Pollefeys , and Jongwoo Lim

翻譯：分享者

本文僅做學術分享，如有侵權，請聯系洗掉，歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂，

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章，公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com，

●論文摘要

本文提出了多魚眼相機的定位和稠密SLAM系統，該系統使用超大視角（FOV）魚眼相機，可以360°覆寫環境的立體環境，為了更實用、更精確的重建，首先引入改進的、輕量的深度神經網路來進行全方位深度估計，它比現有的網路更快、更精確，其次，將魚眼相機深度估計整合到視覺里程表（VO）中，并添加一個回圈閉合模塊以實作地圖全域一致性，利用估計的深度圖，我們將關鍵點重新投影到另一個視圖上，從而得到一個更好、更有效的特征匹配程序，最后，我們將魚眼相機深度圖和估計的姿態融合到TSDF中，得到三維地圖，評估了方法在具有真值和資料集上的性能，大量的實驗表明，該系統在合成和真實環境中都能產生良好的重建效果，

上圖：輸入具有挑戰性的室內環境的示例影像，下圖：一棟復式建筑的稠密重建圖，帶有估計的軌跡，軌跡的顏色代表高度值，

● 相關作業與介紹

主要貢獻總結如下：

（i）提出了一種輕量化和改進的網路魚眼相機的深度估計，網路的精度、引數個數、運行時間等都比以前的版本有了很大的提高，使本系統更加實用，

（ii）通過將深度圖集成到ROVO（魯棒的視覺里程計）中，并增加回環閉合模塊，構建了一個魯棒的全向視覺SLAM系統，在具有挑戰性的室內和大型室外環境中，估算的軌跡精度比以前的版本有所提高，

（iii）提出了一個完整的全方位定位和稠密地圖系統，并在合成環境和真實的室內外環境中進行了大量的實驗，結果表明我們的系統能夠為各種場景生成重建良好的三維稠密地圖

系統的流程圖，首先使用給定的魚眼影像估計深度圖和位姿，如果可用，深度圖將集成到視覺里程計中，將輸出深度圖和位姿融合到TSDF中，以構建3D地圖，在后處理程序中，利用回環模塊修正后的姿態建立全域一致的地圖，

● 內容精華

A、全深度估計

采用端到端網路OmniMVS，并在此基礎上提出了Light-weighted OmniMVS，

B、視覺SLAM

定位也是三維稠密SLAM的重要組成部分，根據提出的ROVO[14]對全向立體魚眼相機系統的姿態進行了穩健估計，在文章中，ROVO有四個步驟：魚眼相機的投影、跟蹤和匹配、姿態估計和聯合優化，首先，將輸入的魚眼影像進行視覺矯正，在投影影像中檢測到球的特征，其次，利用KLT對檢測到的球體特征進行光流跟蹤，并在相鄰攝像機之間進行特征匹配，然后，跟蹤上的特征被三角化到每個對應的3D點，第三，利用2D-3D特征對應關系，利用多視點P3P-RANSAC初始化姿態，并通過pose only bundle平差（BA）進行優化，最后，利用區域光束平差（LBA）同時對估計的姿態和觀測到的三維點進行優化，

C. 基于TSDF稠密地圖

為了獲得全域的3D地圖，將估計的全深度圖和姿態融合到TSDF中，