視覺SLAM的技術(shù)資料總結(jié)

SLAM是Simultaneous Localization and Mapping的縮寫，意為“同時定位與建圖”。它是指運(yùn)動物體根據(jù)傳感器的信息，一邊計算自身位置，一邊構(gòu)建環(huán)境地圖的過程。目前，SLAM的應(yīng)用領(lǐng)域主要有機(jī)器人、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。其用途包括傳感器自身的定位，以及后續(xù)的路徑規(guī)劃、場景理解。

1、SLAM（同步定位與建圖）

隨著傳感器種類和安裝方式的不同，SLAM的實(shí)現(xiàn)方式和難度會有很大差異。按傳感器來分，SLAM主要分為激光、視覺兩大類。其中，激光SLAM研究較早，理論和工程均比較成熟。視覺方案目前大部分實(shí)驗(yàn)室研究階段，實(shí)際產(chǎn)品應(yīng)用很少。SLAM研究自1988年提出以來，已經(jīng)過了近三十年。早期SLAM研究側(cè)重于使用濾波器理論，最小化運(yùn)動體位姿和地圖的路標(biāo)點(diǎn)的噪聲。21世紀(jì)之后，學(xué)者們開始借鑒SfM(Structure from Motion)中的方式，以優(yōu)化理論為基礎(chǔ)求解SLAM問題。這種方式取得了一定的成就，并且在視覺SLAM領(lǐng)域中取得了主導(dǎo)地位。

激光傳感器：激光傳感器可以直接獲得相對于環(huán)境的直接距離信息，從而實(shí)現(xiàn)直接相對定位，對于激光傳感器的絕對定位及軌跡優(yōu)化可以在相對定位的基礎(chǔ)上進(jìn)行。

視覺傳感器：視覺傳感器很難直接獲得相對于環(huán)境的直接距離信息，而必須通過兩幀或多幀圖像來估計自身的位姿變化，再通過累積位姿變化計算當(dāng)前位置。這種方法更類似于直接用里程計進(jìn)行定位，即視覺里程計（Visual Odometry）。里程計的測量積分后才相當(dāng)于激光傳感器直接獲得的定位信息，這就是圖優(yōu)化SLAM框架中的前端。而后端對定位和位姿軌跡的優(yōu)化本質(zhì)上與激光傳感器的優(yōu)化相同，都基于最優(yōu)估計的理論框架進(jìn)行。

2、視覺SLAM發(fā)展

視覺定位

機(jī)器人運(yùn)動過程中構(gòu)建環(huán)境模型和地標(biāo)，打造室內(nèi)“視覺GPS”系統(tǒng)

地圖構(gòu)建

通過多傳感器融合技術(shù)實(shí)時構(gòu)建高精度，可持久使用的室內(nèi)地圖

語義地圖

使用深度神經(jīng)網(wǎng)絡(luò)對地圖信息進(jìn)行分割理解，形成具有豐富語義信息的室內(nèi)地圖

應(yīng)用場景

AR、機(jī)器人、無人機(jī)、無人駕駛等領(lǐng)域， 就像移動互聯(lián)網(wǎng)時代的手機(jī)定位一樣。

有理解力的SLAM：語義SLAM，精準(zhǔn)感知并適應(yīng)環(huán)境。將語義分析與SLAM有效融合，增強(qiáng)機(jī)器對環(huán)境中相互作用的理解能力，為機(jī)器人賦予了復(fù)雜環(huán)境感知力和動態(tài)場景適應(yīng)力。

有廣度的SLAM：100萬平米強(qiáng)大建圖能力。借助高效的環(huán)境識別、智能分析技術(shù)，室內(nèi)外全場景范圍高達(dá)100萬平米的地圖構(gòu)建能力。

有精度的SLAM：高精度定位領(lǐng)先算法?？稍谌魏蔚攸c(diǎn)進(jìn)行開機(jī)識別、全局定位，精準(zhǔn)度高達(dá)±2cm。

有時效的SLAM：動態(tài)地圖實(shí)時更新。根據(jù)傳感器回傳數(shù)據(jù)，與原有地圖進(jìn)行分析比對，完成動態(tài)實(shí)時更新，實(shí)現(xiàn)life-long SLAM。

視覺SLAM系統(tǒng)分為五個模塊：傳感器數(shù)據(jù)、視覺里程計、后端、建圖、回環(huán)檢測。

3、視覺SLAM未來趨勢

導(dǎo)航定位與建圖

視覺SLAM

SLAM快速識別地圖坐標(biāo)， 實(shí)現(xiàn)設(shè)備、特定目標(biāo)長時間、高精度定位

高精度SLAM

基于視覺+慣性傳感器的高精度SLAM算法，媲美激光雷達(dá)的定位精度

實(shí)時稠密地圖構(gòu)建

通過攝像頭獲取場景中的稠密點(diǎn)云信息，建立場景的柵格占用地圖

路徑規(guī)劃

基于實(shí)時構(gòu)建的場景地圖，讓機(jī)器感知現(xiàn)實(shí)場景，實(shí)現(xiàn)自主最優(yōu)路徑規(guī)劃

導(dǎo)航避障

通過攝像頭獲取場景中的稠密點(diǎn)云信息，建立場景的柵格占用地圖，基于智能避障算法，滿足機(jī)器人精準(zhǔn)避障的需求

高精度語義地圖

深度學(xué)習(xí)圖像語義

輕量化模型精準(zhǔn)識別百余類物體

稠密地圖語義分割及匹配

將稠密地圖按照物體的語義信息進(jìn)行分割及匹配，幫助機(jī)器理解圖像內(nèi)容，以實(shí)現(xiàn)通行區(qū)域感知及避障

語義SLAM

SLAM結(jié)合深度學(xué)習(xí)，實(shí)現(xiàn)精準(zhǔn)的場景環(huán)境語義分析，提升SLAM系統(tǒng)精度

物體識別及環(huán)境語義

基于輕量化深度學(xué)習(xí)模型的物體識別，并結(jié)合場景地圖提供環(huán)境語義

多傳感器融合及標(biāo)定

多傳感器融合

視覺、慣性、里程計、GNSS等多傳感器融合，滿足不同場景信息需求，優(yōu)勢互補(bǔ)，提高系統(tǒng)精度

傳感器誤差建模

分析傳感器誤差源，對傳感器進(jìn)行高精度誤差建模

快速、低成本傳感器標(biāo)定

大幅降低傳感器標(biāo)定成本，實(shí)現(xiàn)快速高精度傳感器標(biāo)定

高性能低成本硬件

消費(fèi)級傳感器及低成本計算單元即可滿足高精度前端解算

4、SLAM與視覺里程計（Visual Odometry）

人們有時候會混淆SLAM和視覺里程計的概念。應(yīng)該說，視覺里程計是SLAM的一個模塊，其目的在于增量式地估計相機(jī)運(yùn)動。然而，完整的SLAM還包括添加回環(huán)檢測和全局優(yōu)化，以獲得精確的、全局一致的地圖。

視覺里程計通常作為SLAM系統(tǒng)的前端。它增量式的計算方法能估計鄰近幀間的相機(jī)運(yùn)動，但這也意味著鄰近幀間的誤差會影響之后的軌跡估計，意味著它會隨著時間推移，產(chǎn)生漂移。同時，視覺里程計也不含有建圖模塊。一個完整的SLAM系統(tǒng)會關(guān)心相機(jī)軌跡和地圖的全局一致性，但這也意味著需要更多的計算資源來計算全局的優(yōu)化。在資源有限、不關(guān)心全局路徑的場合（如無人機(jī)的著陸、短時間控制中），可以考慮只使用視覺里程計，而不必使用完整的SLAM。

5、SLAM和SFM

視覺SLAM中大量使用了SFM中的方法，如特征點(diǎn)跟蹤、捆集優(yōu)化(Bundle Adjustment)等，以至于許多研究者把它們視為同一個研究領(lǐng)域。然而，盡管方法上很相似，SLAM和SFM的側(cè)重點(diǎn)是不同的。SLAM的應(yīng)用場合主要在機(jī)器人和VR/AR，計算資源有限，需要很強(qiáng)的實(shí)時性，故側(cè)重點(diǎn)在于，如何在有限的資源里快速地對相機(jī)進(jìn)行定位。而SFM方法通常是離線的，可以調(diào)用大量計算資源進(jìn)行長時間的計算，側(cè)重于重建出更精確、美觀的場景。

6、開源SLAM方案

視覺傳感器

稀疏法(特征點(diǎn)):

ORB-SLAM(單目，雙目，RGBD)

Stereo DSO

ProSLAM

PTAM(單目)

MonoSLAM(單目)

半稠密法:

LSD-SLAM(單目，雙目，RGBD)

DSO(單目)

SVO(單目, 僅VO)

稠密法:

DTAM(RGBD)

Elastic Fusion(RGBD)

BundleFusion

Kintinous(RGBD)

DVO

RGBD-SLAM-V2

RTAB-MAP

MLM:(單目)

激光傳感器

HectorSLAM

Gmapping

KartoSLAM

CoreSLAM

LagoSLAM

cartographer

視覺與IMU融合：

OKVIS

VINS

VINS-Fusion

回環(huán)檢測：

DBoW2

DLoopDetector

Dlib

后端：

Ceres-solver

G2o

Gtasm

Vertigo

構(gòu)圖：

Grid_map

Octomap

常用數(shù)據(jù)集：

１、TUM RGB-D SLAM Dataset and Benchmark

德國慕尼黑理工大學(xué)計算機(jī)視覺組制作的數(shù)據(jù)集，使用Kinect相機(jī)采集的數(shù)據(jù)集，包括IMU數(shù)據(jù)，并且用高精度運(yùn)動采集系統(tǒng)提供了groundtruth（真值）。提供測試腳本，可以方便的實(shí)現(xiàn)量化評估。

２、KITTI Vision Benchmark Suite

德國卡爾斯魯厄理工學(xué)院和豐田工業(yè)大學(xué)芝加哥分校一起合作制作的用于自動駕駛的數(shù)據(jù)集。

３、EuRoC MAV Dataset

世聯(lián)邦理工大學(xué)制作的數(shù)據(jù)集，采用裝備了雙目相機(jī)和IMU的四旋翼無人機(jī)采集數(shù)據(jù)。