SLAM技術分享

同時定位與地圖重建（Simultaneous Localization and Mapping, SLAM）,是機器人領域中的一項基礎的底層技術，其希望機器人能在一個陌生的環境下實作自身的實時定位，同時能夠重建出有關于環境的地圖，隨著近年無人駕駛、增強現實、虛擬現實等應用的興起，作為實作這些應用的SLAM技術也越發引人注目，SLAM技術主要完成兩項任務：自身定位與環境建圖，也是讓機器知道自己在哪里，已經周圍的環境是啥，然而，如果想要精確的實作定位任務就不可避免的需要高精度的地圖，而高精度的地圖重建是需要以更為精確的自身定位作為基礎的，
近年以來，除了傳統的激光SLAM解決方案，基于視覺，基于慣性傳感器等等的解決方案也在不斷變多，整個SLAM領域整體呈現百花齊放的態勢，
一. 目前在SLAM領域中的關鍵問題：
1、資料關聯：SLAM技術在未來的發展程序中必然會有一個方向是將SLAM系統中集成多傳感器，進行多傳感器的融合任務，但是顯而易見的是不同的傳感器之間具有不同的特征，目前的很多SLAM研究人員都轉向了研究多傳感器SLAM中的傳感器校準（例如自校準或者快速標定等內容），狀態估計和后端BA優化，
2、 多機SLAM聯合建圖：目前在小范圍內已有的若干SLAM系統大多都能獲得比較好的效果，但是面對大規模，長時間的SLAM問題，如果只采用單機SLAM系統則獲得良好的效果，此時通過分散的多機SLAM系統來解決大場景，長時間的SLAM任務將會是一個比較合適的選擇，屬于比較前沿的SLAM研究方向，
3、 高清晰度、資訊量豐富的地圖：SLAM技術作為機器人領域的一項底層基礎技術，需要根據上層應用程式需要提供一張具有豐富資訊的地圖，其中比較具有代表性的地圖形式就是拓撲地圖，語意地圖，以及點云地圖等等；同時當SLAM系統的面對大場景，長時間的情況時，采用何種方式來存盤更新地圖也將是一個迫切需要解決的問題，
3、目前SLAM技術仍然面對著更強適應性、魯棒性、可擴展性的要求，
4、適合的SLAM應用：目前SLAM技術具有廣泛的應用場景，但是許多SLAM系統依然處在實驗室研究階段，缺乏合適的工程工具進行封裝，需要我們繼續完善SLAM的應用生態，
二. SLAM領域中的經典資料集：
1.KITTI資料集（單目視覺 ,雙目視覺, velodyne, POS 軌跡）

KITTI資料集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺演算法評測資料集，該資料集用于評測立體影像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的性能，KITTI包含市區、鄉村和高速公路等場景采集的真實影像資料，每張影像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷，
下載地址鏈接：https://pan.baidu.com/s/1htFmXDE 密碼：uu20

2.TUM資料集（自帶Ground-truth軌跡與測量誤差的腳本）

資料集包含一些室內的序列，在不同的紋理下，不同的光照和不同的結構條件，從RGB-D傳感器采集到的資料中分別去評估物體的重建和SLAM/視覺里程計的性能，TUM提供很多資料集，從各個有利位置捕獲物件，每個條目中包含影像序列、相應的輪廓和完整的校準引數，

下載地址：鏈接：https://pan.baidu.com/s/1htFmXDE 密碼：uu20

3.Oxford資料集（室外場景）

對牛津的一部分連續的道路進行了上百次資料采集，收集到了多種天氣、行人和交通情況下的資料，也有建筑和道路施工時的資料，總的資料長度達1000小時以上，

下載地址：https://robotcar-dataset.robots.ox.ac.uk/

4.EuRoC資料集（無人機拍攝序列）

EuRoC資料集包含11個雙目序列，這些序列是由小型無人機在兩個不同的房間和一個大型工業環境中飛行時記錄下來的，提供兩種型別的資料集: 第一個包含來自Leica多站的三維位置地面真值，并著重于視覺慣性的評估SLAM演算法在一個真實的工業場景，

下載地址：鏈接：https://pan.baidu.com/s/1miXf40o 密碼：xm59

5.ICL-NUIM資料集（室內向，提供ground-truth和odometry）

該集旨在對RGB-D、視覺測距和SLAM演算法進行基準測驗，兩個不同的場景（起居室和辦公室場景）提供了基本事實，客廳具有3D表面地面實況以及深度圖和相機姿勢，因此完美地適用于不僅用于標記相機軌跡而且還用于重建，辦公室場景僅帶有軌跡資料，并且沒有任何明確的3D模型，
下載地址：http://www.doc.ic.ac.uk/~ahanda/VaFRIC/iclnuim.html

6.RGB-D物件資料集

RGB-D物件資料集是300個常見家庭物件的大型資料集，這些物件被分為51個類別，該資料集使用Kinect風格的3D相機來記錄，該相機以30Hz記錄同步和對準的640x480 RGB和深度影像，拍攝時將每個物體放置在轉盤上旋轉一整圈并捕獲視頻序列，對于每個物件，有3個視頻序列，每個視頻序列都安裝在不同高度的攝像機上，以便從與地平線不同的角度觀察物件，

下載地址：http://rgbd-dataset.cs.washington.edu/

7.SYNTHIA（室外環境）

SYNTHIA資料集是為了解決在駕駛場景的背景關系中解決語意分割和相關的場景理解問題，SYNTHIA包括通過從虛擬城市渲染出來多個幀集合，并包含針對13類物件的精確像素級語意標注，其中每一項是：雜項，天空，建筑物，道路，人行道，柵欄，植被，桿，汽車，路標，行人，騎自行車的人，車道標記，

官網：http://synthia-dataset.net/

8.Cityscapes

Cityscapes資料集中包含來自50個不同城市的街道場景中記錄的各種立體視頻序列集，此外還有50000幀的高質量像素級標注以及20000弱標注幀的大型資料集，同時，有關影像標注的詳細資訊和標注示例可在此網頁上找到，

Cityscapes資料集的用途主要表現在：

1、評估視覺演算法在語意城市場景理解任務上的性能，包括像素級、實體級和全景語意級人物等；

2、意在支持許多需要大量（弱）標注資料的研究，例如用于訓練深度神經網路等，

官網：https://www.cityscapes-dataset.com/

三.專案推薦：

1. ORB-SLAM系列：
   
   ORB-SLAM是Mur-Artal R等人在2015年首次提出，并在2017年，2020年不斷完善的基于ORB特征描述子構建的SLAM系統，是現代SLAM系統中相對完善且易用的SLAM系統；相較于其他的SLAM系統，ORB-SLAM具有以下這些顯著的優點：

1、支持單目、雙目、RGBD攝像頭，可以說是對視覺SLAM涉及的傳感器進行了全面的兼容，

2、整個系統圍繞ORB特征展開，ORB特征是一種在精度和效率直接的合理折中，滿足了SLAM系統需要

3、首次提出了回環檢測的概念，

4、ORB-SLAM創造性的采用了多執行緒的思路來將不同SLAM系統中的不同模塊進行拆分，將模塊化設計引入SLAM系統，

除了上述主要的特點之外，ORB-SLAM還進行了很多細節上的優化和擴充，使得整個SLAM系統有著目前為止依然較為優秀的魯棒性，效率和準確率，同時，ORB-SLAM v1版本主要針對單目系統，ORB-SLAM v2版本增加了立體相機和RGBD相機的適配，ORB-SLAM v3增加了IMU和多地圖的功能，使得整個SLAM系統不斷完善和強化，

以下是筆者自己試驗的一段ORB-SLAM v2的效果：

ORB-SLAM v1: https://github.com/raulmur/ORB_SLAM
?ORB-SLAM v2: https://github.com/raulmur/ORB_SLAM2
?ORB-SLAM v3: https://github.com/UZ-SLAMLab/ORB_SLAM3
?
四.SLAM系統的常見應用
1、無人機導航：
2、無人駕駛：

3、VR/AR：

參考文獻:
[1]Huang B , Zhao J , Liu J . A Survey of Simultaneous Localization and Mapping[J]. 2019.
[2]劉浩敏, 章國鋒, 鮑虎軍. 基于單目視覺的同時定位與地圖構建方法綜述[J]. 計算機輔助設計與圖形學學報, 2016, 28(6):855-868.
[3]Davison A J, Reid I D, Molton N D, et al. MonoSLAM: realtime single camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6):1052-1067.
[4]Kummerle R , Grisetti G , Strasdat H , et al. G2o: A general framework for graph optimization[C]// Robotics and Automation (ICRA), 2011 IEEE International Conference on. IEEE, 2011.
[5]Polok L . Incremental Cholesky Factorization for Least Squares Problems in Robotics[C]// Intelligent Autonomous Vehicles. 2013.
[6]Klein G , Murray D . Parallel Tracking and Mapping for Small AR Workspaces[C]// Mixed and Augmented Reality, 2007. ISMAR 2007. 6th IEEE and ACM International Symposium on. ACM, 2007.
[7]Mur-Artal R , Montiel J M M , Tardos J D . ORB-SLAM: a Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics, 2015, 31(5):1147-1163.
[8]Mur-Artal R , Tardos J D . ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras[J]. IEEE Transactions on Robotics, 2017:1-8.
[9]D. Galvez-L ′ opez and J. D. Tard ′ os, “Bags of binary words for fast place recognition in image sequences,” IEEE Transactions on Robotics, vol. 28, no. 5, pp. 1188–1197, 2012.
[10]Sivic, Zisserman. Video Google: a text retrieval approach to object matching in videos[C]// Proceedings Ninth IEEE International Conference on Computer Vision. IEEE, 2003.
[11]Robertson, Stephen. Understanding inverse document frequency: on theoretical arguments for IDF[J]. Journal of Documentation, 2004, 60(5):503-520.

想了解更多關于我們金翅創客實驗室的內容，請關注微信公眾號：金翅創客，

原創宣告：本文內容均為本人原創作品，請任何和個人、組織，在經過本人授權后，方可轉載，