視覺(jué)慣性導(dǎo)航系統(tǒng)的研究和開(kāi)發(fā)

1、引言

多年來(lái)，慣性導(dǎo)航系統(tǒng)(INS)[1,2]被廣泛用于估計(jì)傳感平臺(tái)(如自動(dòng)駕駛車(chē)輛)的6自由度姿態(tài)(位置和方向)，特別是在GPS信號(hào)缺乏的環(huán)境，如水下，室內(nèi)，城市峽谷或在其他星球上。大多數(shù)INS依賴(lài)于一個(gè)6軸慣性測(cè)量單元(IMU)，它測(cè)量平臺(tái)的局部線(xiàn)性加速度和角速度，而平臺(tái)與IMU是剛性連接的。隨著近年來(lái)硬件設(shè)計(jì)和制造的進(jìn)步，低成本的輕量化微電子機(jī)械(MEMS) IMU已經(jīng)普遍存在[3-5]，這使得高精度定位成為可能。移動(dòng)設(shè)備[6]和微型飛行器(MAVS)[7-111]，在廣泛的新興應(yīng)用領(lǐng)域中有著巨大的影響[12,13]，從移動(dòng)增強(qiáng)現(xiàn)實(shí)(AR)到虛擬現(xiàn)實(shí)(VR)[14]再到自動(dòng)駕駛[15,16]。不幸的是，高速率IMU測(cè)量的簡(jiǎn)單集成被噪聲和偏置所破壞。往往導(dǎo)致長(zhǎng)期導(dǎo)航下姿態(tài)估計(jì)的不可靠。盡管存在一種高端戰(zhàn)術(shù)級(jí)IMU，但對(duì)于廣泛部署來(lái)說(shuō)，它的成本仍然高得令人望而卻步。另一方面，體積小、重量輕、能效高的相機(jī)可提供豐富的環(huán)境信息，并作為INS的輔助來(lái)源，產(chǎn)生視覺(jué)慣性導(dǎo)航系統(tǒng)(VINS)。

雖然這一問(wèn)題具有挑戰(zhàn)性，因?yàn)槿狈δ軌驕p少隨時(shí)間累積的運(yùn)動(dòng)漂移的全球信息(如果使用低成本、低質(zhì)量的傳感器，這種情況甚至?xí)觿?。在過(guò)去的十年里，VINS吸引了大量的關(guān)注。到目前為止。許多VINS算法可用于視覺(jué)慣性SLAM[17]和視覺(jué)慣性測(cè)程(VIO)，如擴(kuò)展卡爾曼濾波器(EKF)[17,18. 20 - 22]，無(wú)跡卡爾曼濾波UKF[23 - 25]，批處理或增量平滑[26,27]，以及基于滑動(dòng)窗口的方法 [28-31]。在這些方法中，基于EKF的方法因其效率高而仍然很受歡迎。例如，作為移動(dòng)設(shè)備上最先進(jìn)的VINS解決方案，Tango[32]項(xiàng)目(或ARCore[12])似乎使用EKF來(lái)融合用于運(yùn)動(dòng)跟蹤的視覺(jué)和慣性測(cè)量。然而，近年來(lái)預(yù)積分技術(shù)的進(jìn)步也使得在基于圖優(yōu)化的方法高效地融合了高頻IMU測(cè)量 [29, 30, 33–35]。

顯然，VINS技術(shù)正在興起，主要是由于移動(dòng)感知和導(dǎo)航應(yīng)用的高要求，這在該領(lǐng)域產(chǎn)生了大量的文獻(xiàn)。然而，據(jù)我們所知，目前還沒(méi)有關(guān)于VINS的當(dāng)代文獻(xiàn)綜述，盡管最近有關(guān)于SLAM的廣泛調(diào)研[16,36]，但并不專(zhuān)門(mén)研究VINS。這使得學(xué)術(shù)界和工業(yè)界的研究人員和工程師很難有效地找到和理解與他們的興趣相關(guān)的最重要的工作，而這些工作我們多年來(lái)在處理這個(gè)問(wèn)題時(shí)都經(jīng)歷過(guò)。因此，我們正努力填補(bǔ)這一缺口：(1)提供一個(gè)簡(jiǎn)潔(由于空間限制)但完整的有關(guān)VINS進(jìn)行狀態(tài)估計(jì)的關(guān)鍵方面的回顧，(2)提供了我們對(duì)最重要的相關(guān)工作的理解，（3）對(duì)尚待解決的挑戰(zhàn)的開(kāi)放的討論。這是由于希望(至少)幫助研究者/工程師跟隨和理解最先進(jìn)的VINS算法和系統(tǒng)，從而更有效地加速我們整個(gè)研究領(lǐng)域的VINS研究和開(kāi)發(fā)。

2、狀態(tài)估計(jì)

A.基于濾波的vs.基于優(yōu)化的估計(jì)

Mourikis和Roumeliotis [18]開(kāi)發(fā)了最早成功的VINS算法之一，稱(chēng)為多態(tài)約束卡爾曼濾波器（MSCKF），后來(lái)應(yīng)用于航天器下降和著陸[21]以及快速無(wú)人機(jī)自主飛行[43]。這種方法使用基于四元數(shù)的慣性動(dòng)力學(xué)[37]進(jìn)行狀態(tài)傳播，與有效的EKF更新緊密結(jié)合。具體而言，不是將通過(guò)相機(jī)圖像檢測(cè)和跟蹤的特征添加到狀態(tài)向量，而是將它們的視覺(jué)方位測(cè)量值投影到特征雅可比矩陣的零空間（即線(xiàn)性邊緣化[44]），從而保留僅與狀態(tài)向量中與隨機(jī)克隆的相機(jī)位姿[45]關(guān)聯(lián)的運(yùn)動(dòng)約束。在通過(guò)移除共同估計(jì)可能成百上千個(gè)點(diǎn)特征的需要來(lái)降低計(jì)算量的同時(shí)，該操作阻止了特征在以后的非線(xiàn)性測(cè)量的重新線(xiàn)性化，從而產(chǎn)生性能的近似惡化。

標(biāo)準(zhǔn)MSCKF [18]最近已經(jīng)沿著不同的方向進(jìn)行了擴(kuò)展和改進(jìn)。特別是，通過(guò)利用我們以前的工作[46-49]中提出的基于可觀(guān)性的方法，已經(jīng)開(kāi)發(fā)了不同的可觀(guān)測(cè)性約束（OC）-MSCKF算法，通過(guò)強(qiáng)制線(xiàn)性化VINS的正確可觀(guān)察性來(lái)改善濾波器的一致性[19,38-40,50-52]。MSCKF的平方根逆版本，即平方根逆滑動(dòng)窗口濾波器（SR-ISWF）[6,53]，以提高計(jì)算效率和數(shù)值穩(wěn)定性，使VINS能夠在計(jì)算資源有限的移動(dòng)設(shè)備上運(yùn)行，同時(shí)不犧牲估計(jì)精度。我們已經(jīng)引入了最佳狀態(tài)約束（OSC）-EKF [54,55]，其首先在滑動(dòng)窗口中最佳地提取關(guān)于相對(duì)相機(jī)位姿的視覺(jué)測(cè)量中包含的所有信息，然后在EKF更新中使用這些推斷的相對(duì)測(cè)量。最近采用（右）不變卡爾曼濾波器[56]來(lái)改善濾波器一致性[25,57-60]，以及用于機(jī)器人中心設(shè)備中VINS的（迭代）EKF [22,61-63]。另一方面，在EKF框架中，除了點(diǎn)之外的不同幾何特征也被用于改善VINS性能，例如[64-68]中使用的線(xiàn)特征和[69-72]中的平面特征。此外，基于MSCKF的VINS也擴(kuò)展到使用具有不準(zhǔn)確時(shí)間同步的卷簾門(mén)相機(jī)[64,73]，RGBD攝像機(jī)[69,74]，多個(gè)攝像機(jī)[53,75,76]和多個(gè)IMU [77]。雖然基于濾波的VINS已顯示出高精度狀態(tài)估計(jì)，但它們?cè)诶碚撋鲜艿较拗? 也就是說(shuō)，非線(xiàn)性測(cè)量（12）在處理之前必須具有一次性線(xiàn)性化，可能將大的線(xiàn)性化誤差引入估計(jì)器并降低性能。

相比之下，批量?jī)?yōu)化方法解決了一組測(cè)量中的非線(xiàn)性最小二乘（束調(diào)整或BA[78]）問(wèn)題，允許通過(guò)重新線(xiàn)性化[79,80]減少誤差，但計(jì)算成本高。Indelman等[27]使用因子圖來(lái)表示VINS問(wèn)題，然后類(lèi)似于iSAM[81,82]逐步解決它。為了在應(yīng)用于VINS時(shí)實(shí)現(xiàn)恒定的處理時(shí)間，通常將有界滑動(dòng)窗口中的近期狀態(tài)視為有效的優(yōu)化變量，同時(shí)邊緣化過(guò)去的狀態(tài)和測(cè)量[28,31,83-85]。特別是Leutenegger等人[28]引入了一種基于關(guān)鍵幀的優(yōu)化方法（即OKVIS），其中一組非連續(xù)的過(guò)去相機(jī)姿態(tài)和一系列近期慣性狀態(tài)，與慣性測(cè)量相關(guān)聯(lián)，被用于非線(xiàn)性?xún)?yōu)化以進(jìn)行精確的軌跡估計(jì)。Qin，Li和Shen [31]最近提出了一種基于優(yōu)化的單目VINS，它可以在非實(shí)時(shí)線(xiàn)程中包含閉環(huán)，而我們最近的VINS [86]能夠在一個(gè)僅有線(xiàn)性復(fù)雜度線(xiàn)程中有效地利用閉環(huán)。

B.緊耦合vs.松耦合傳感器融合

VINS融合視覺(jué)和慣導(dǎo)有多種方案，可以廣義分為松耦合和緊耦合兩種。具體來(lái)說(shuō)，松耦合融合，無(wú)論是濾波還是基于優(yōu)化的估計(jì)，分別處理視覺(jué)和慣導(dǎo)的運(yùn)動(dòng)約束，然后融合這些約束(例如 [27,87-91])。雖然該方法具有較高的計(jì)算效率，但視覺(jué)約束和慣導(dǎo)約束的解耦會(huì)導(dǎo)致信息丟失。相比之下，緊耦合的方法直接融合視覺(jué)和慣性測(cè)量在同一過(guò)程，從而實(shí)現(xiàn)更高的精度(例如，[18,28,34,40,85,92])。

C.VIOvs.SLAM

通過(guò)聯(lián)合估計(jì)傳感器平臺(tái)的位置和周?chē)h(huán)境特征，SLAM估計(jì)容易實(shí)現(xiàn)加入閉環(huán)約束實(shí)現(xiàn)有界定位誤差，這在過(guò)去三十年中也出現(xiàn)了重大研究成果[16,36,93,94]。VINS可以被視為SLAM的一個(gè)實(shí)例(使用特定的視覺(jué)和慣性傳感器)，在廣義上包括視覺(jué)慣性(VI)-SLAM[28,33,85]和視覺(jué)-慣導(dǎo)里程計(jì)(VIO)[18,22,39,40,52,95]。前者聯(lián)合估計(jì)由環(huán)境特征位置和相機(jī)/IMU姿態(tài)共同構(gòu)成狀態(tài)向量，而后者狀態(tài)向量不包含環(huán)境特征，但仍然利用視覺(jué)測(cè)量在相機(jī)/IMU姿態(tài)之間施加運(yùn)動(dòng)約束。一般來(lái)說(shuō)，加入建圖(從而形成閉環(huán))，VI-SLAM從特征地圖和可能回環(huán)檢測(cè)中獲得了更好的精度，同時(shí)比VIO帶來(lái)更高的計(jì)算復(fù)雜度。盡管已經(jīng)提出了不同的方法來(lái)解決這個(gè)問(wèn)題[18、21、28、85、96、97]。然而，VIO估計(jì)器本質(zhì)上是里程計(jì)(航跡推算)方法，除非某些全局信息(例如GPS或先驗(yàn)地圖)或?qū)σ郧拔恢玫募s束(例如，使用閉環(huán)檢測(cè))。許多方法利用不同關(guān)鍵幀的特征觀(guān)測(cè)來(lái)限制在軌跡上的漂移[28,98]。大多數(shù)都有一個(gè)雙線(xiàn)程系統(tǒng)，該系統(tǒng)優(yōu)化小窗口的局部關(guān)鍵幀和限制短時(shí)漂移，而后臺(tái)進(jìn)程優(yōu)化一個(gè)長(zhǎng)期稀疏位圖，其中包含強(qiáng)制實(shí)現(xiàn)長(zhǎng)期一致性的閉環(huán)約束[31,83,99,100]。例如，VINS-Mono[31,100]在局部滑動(dòng)窗口和全局批處理優(yōu)化中都使用了閉環(huán)約束。具體地說(shuō)，在局部?jī)?yōu)化過(guò)程中，關(guān)鍵幀的特征觀(guān)測(cè)提供了隱式的環(huán)閉約束，其中通過(guò)假設(shè)關(guān)鍵幀的姿態(tài)是理想的(從而將它們從優(yōu)化中去處)，問(wèn)題變得很小。

特別是，在VINS中是否通過(guò)地圖[83、101、102]和/或位置識(shí)別[103 108]實(shí)行閉環(huán)檢測(cè)是VIO和SLAM之間的關(guān)鍵區(qū)別之一。雖然利用閉環(huán)來(lái)實(shí)現(xiàn)有界誤差的VINS是必要的，但也面臨著由于無(wú)法在不做出不一致假設(shè)的情況下保持計(jì)算效率的挑戰(zhàn)，例如將關(guān)鍵幀的姿勢(shì)視為正確，或重用信息。為此，[109]提出了一種混合估計(jì)器，利用MSCKF進(jìn)行實(shí)時(shí)局部估計(jì)，并在閉環(huán)檢測(cè)時(shí)觸發(fā)全局BA。在濾波器等待BA完成的額外計(jì)算期間內(nèi)，允許一致性重新線(xiàn)性化和閉環(huán)約束。最近，Lynen等人[110]開(kāi)發(fā)了一種基于大規(guī)模地圖的VINS，該VINS使用包含特征位置及其不確定性的壓縮先驗(yàn)地圖，并使用先驗(yàn)地圖中的特征匹配來(lái)約束全局估計(jì)。DuToit等[102]利用Schmidt KF[111]的思想，開(kāi)發(fā)了一個(gè)Cholesky-Schmidt EKF，該EKF使用了一個(gè)具有完全不確定性的先驗(yàn)地圖，并放松了地圖特征與當(dāng)前狀態(tài)變量之間的所有關(guān)聯(lián);而我們最新的SchmidtMSCKF[86]將閉環(huán)集成在一個(gè)線(xiàn)程中。此外，最近的point-line VIO[67]將邊緣關(guān)鍵點(diǎn)的三維位置作為閉環(huán)的真值，但這可能會(huì)引發(fā)不一致性。

D.直接vs.間接的視覺(jué)處理

視覺(jué)處理過(guò)程是任何VINS的關(guān)鍵部分之一，負(fù)責(zé)將密集的圖像數(shù)據(jù)轉(zhuǎn)換為運(yùn)動(dòng)約束，并將其納入估計(jì)問(wèn)題中。其算法根據(jù)使用的視覺(jué)殘差模型可分為直接算法和間接算法。間接方法[18,28,30,40,51]被視為經(jīng)典技術(shù)，它提取和跟蹤環(huán)境中的點(diǎn)特征，同時(shí)在估計(jì)過(guò)程中使用幾何重投影約束。當(dāng)前最先進(jìn)的間接視覺(jué)SLAM的一個(gè)例子是ORB-SLAM2[83,112]，它使用來(lái)自3D特征點(diǎn)對(duì)應(yīng)的信息來(lái)執(zhí)行基于圖形的相機(jī)姿態(tài)優(yōu)化。

相比之下，直接方法[96,113,115]在公式中利用原始像素強(qiáng)度，并允許包含更大比例的可用圖像信息。LSDSLAM[114]是一個(gè)最先進(jìn)的直接視覺(jué)SLAM的例子，它基于最小化相機(jī)關(guān)鍵幀之間的強(qiáng)度誤差來(lái)優(yōu)化它們之間的轉(zhuǎn)換。注意，這種方法還優(yōu)化了一個(gè)包含關(guān)鍵幀約束的分離的圖，以允許合并高信息量的閉環(huán)來(lái)糾正長(zhǎng)軌跡上的漂移。這項(xiàng)工作后來(lái)從單目相機(jī)擴(kuò)展到立體和全方位相機(jī)，以提高精度[116,117]。其他流行的直接方法包括[118]和[119]，它們以緊耦合的方式估計(jì)關(guān)鍵幀深度，并提供低的漂移結(jié)果。最近直接方法在VINS上的應(yīng)用受到了關(guān)注，因?yàn)榧词乖诘图y理環(huán)境中，它們也能夠魯棒跟蹤動(dòng)態(tài)運(yùn)動(dòng)。例如，Bloesch等人[61,62]使用基于patch的直接方法提供迭代EKF更新;Usenko等[96]提出了一種基于離散預(yù)積分和直接圖像對(duì)齊的滑動(dòng)窗口VINS; Ling, Liu, and Shen [9] 和 Eckenhoff, Geneva, and Huang[115]將不同IMU預(yù)積分的直接圖像對(duì)齊集成到動(dòng)態(tài)運(yùn)動(dòng)估計(jì)中[34,35,85]。

由于光度一致性假設(shè)，直接圖像對(duì)齊需要良好的初始猜測(cè)和較高的幀率，而間接視覺(jué)跟蹤在提取和匹配特征時(shí)需要額外的計(jì)算資源。然而，由于間接方法的成熟和魯棒性，它在實(shí)際應(yīng)用中得到了更廣泛的應(yīng)用，但是直接方法在非結(jié)構(gòu)場(chǎng)景中具有潛力。

E.慣導(dǎo)預(yù)積分

Lupton和Sukkarieh[33]首先提出了IMU預(yù)積分，這是標(biāo)準(zhǔn)慣性測(cè)量積分的一種計(jì)算上有效的替代方案，它將慣性測(cè)量動(dòng)力學(xué)的離散積分與局部參考系統(tǒng)相結(jié)合，從而避免了在每個(gè)優(yōu)化步驟里重新積分狀態(tài)動(dòng)力學(xué)的需要。雖然這解決了計(jì)算復(fù)雜性問(wèn)題，但由于在方向表示中使用歐拉角，該方法存在奇點(diǎn)。為了提高這種預(yù)積分的穩(wěn)定性，在[29,34]中引入了流形上的表示，其在SO（3）流形上呈現(xiàn)了無(wú)奇點(diǎn)定向表示，將IMU預(yù)積分結(jié)合到基于圖優(yōu)化的VINS中。

雖然Shen，Michael和Kumar [85]引入了連續(xù)狀態(tài)下的預(yù)積分。但他們?cè)诓惶峁┓忾]形式解決方案的情況下對(duì)測(cè)量動(dòng)態(tài)進(jìn)行離散采樣，這與從連續(xù)時(shí)間的角度預(yù)積分的理論完整性方面存在顯著的區(qū)別。與先前方法中使用的預(yù)積分測(cè)量和協(xié)方差計(jì)算的離散近似相比，在我們先前的工作[30,35]中，我們得出了測(cè)量和協(xié)方差預(yù)積分方程的閉合形式解，并且這些解決方案提高了在高動(dòng)態(tài)運(yùn)動(dòng)的情況下離散方法的精度。

F.狀態(tài)初始化

提供準(zhǔn)確的初始狀態(tài)估計(jì)的魯棒、快速初始化對(duì)于手持實(shí)時(shí)VINS估計(jì)器至關(guān)重要，其通常以線(xiàn)性閉合形式求解[7,84,120-124]。特別是，Martinelli [123]引入了單眼視覺(jué)慣性初始化問(wèn)題的閉合解決方案，后來(lái)擴(kuò)展到陀螺儀偏差校準(zhǔn)。這些方法無(wú)法模擬慣性積分中的不確定性，因?yàn)樗鼈円蕾?lài)于長(zhǎng)時(shí)間內(nèi)IMU測(cè)量的雙重積分。費(fèi)斯勒等人[127]在松散耦合的估計(jì)框架內(nèi)開(kāi)發(fā)了基于SVO [113]的重新初始化和故障恢復(fù)算法，但需要額外的向下距離傳感器來(lái)恢復(fù)尺度。Mur-Artal和Tard'os [83]在他們的ORBSLAM [112]上引入了一個(gè)高度（約10秒）的初始化器，它利用已知ORB-SLAM的關(guān)鍵幀的視覺(jué)慣導(dǎo)全BA計(jì)算初始尺度，重力方向，速度和IMU偏差。在[7,84]中，最近提出了一種線(xiàn)性方法用于無(wú)噪聲情況，通過(guò)利用短期IMU（陀螺儀）預(yù)積分獲得的相對(duì)旋轉(zhuǎn)但不對(duì)陀螺儀偏差建模。當(dāng)觀(guān)察的是遠(yuǎn)處的視覺(jué)特征時(shí)，這在現(xiàn)實(shí)世界中并不可靠。

3、傳感器標(biāo)定

在融合來(lái)自不同傳感器的測(cè)量結(jié)果時(shí)，必須高精度地確定空間和時(shí)間傳感器校準(zhǔn)參數(shù)。特別是，我們應(yīng)該準(zhǔn)確地知道相機(jī)和IMU之間的剛體轉(zhuǎn)換，以便正確地融合從它們的測(cè)量中提取的運(yùn)動(dòng)信息。此外，由于不正確的硬件觸發(fā)，傳輸延遲和時(shí)鐘同步誤差，每個(gè)傳感器的帶時(shí)間戳的傳感數(shù)據(jù)可能不一致，因此，視覺(jué)和慣性測(cè)量之間的時(shí)間線(xiàn)錯(cuò)位（時(shí)間偏移）可能會(huì)發(fā)生。因此，校準(zhǔn)這些時(shí)間偏移很關(guān)鍵。傳感器校準(zhǔn)空間和時(shí)間參數(shù)的問(wèn)題已成為許多最近VINS研究工作的主題[42,128-132]。例如，Mirzaei和Roumeliotis [42]在相機(jī)和IMU之間開(kāi)發(fā)了基于EKF的空間校準(zhǔn)。進(jìn)行校準(zhǔn)參數(shù)的非線(xiàn)性可觀(guān)測(cè)性分析[133]以表明這些參數(shù)在隨機(jī)運(yùn)動(dòng)下是可觀(guān)察的。同樣，Jones和Soatto [128]基于無(wú)法區(qū)分的軌跡分析檢查了相機(jī)和IMU空間校準(zhǔn)的識(shí)別能力，并在嵌入式平臺(tái)上開(kāi)發(fā)了基于濾波器的在線(xiàn)校準(zhǔn)。Kelly和Sukhatme[129]通過(guò)類(lèi)似ICP的匹配方法對(duì)齊這兩個(gè)傳感器的旋轉(zhuǎn)曲線(xiàn)，解決了相機(jī)和IMU之間的剛體轉(zhuǎn)換問(wèn)題。

許多這些研究工作都集中在需要額外校準(zhǔn)輔助工具的離線(xiàn)校準(zhǔn)流程上[42,130,134-136]。特別是，作為最先進(jìn)的方法之一，Kalibr校準(zhǔn)工具箱[130,134]使用傳感器軌跡的連續(xù)時(shí)間基函數(shù)表示[137]來(lái)校準(zhǔn)多個(gè)傳感器的內(nèi)參和外參。由于該B樣條表示允許直接計(jì)算預(yù)期的局部角速度和局部線(xiàn)性加速度，因此預(yù)期慣性讀數(shù)和測(cè)量慣性讀數(shù)之間的差異用作批量?jī)?yōu)化公式中的誤差。離線(xiàn)校準(zhǔn)的缺點(diǎn)是每次重新配置傳感器套件時(shí)都必須執(zhí)行此操作。例如，如果移除傳感器進(jìn)行維護(hù)并返回，則放置誤差可能導(dǎo)致性能不佳，需要進(jìn)行時(shí)間的重新校準(zhǔn)。

相反，在線(xiàn)校準(zhǔn)方法在傳感器套件的每個(gè)操作期間估計(jì)校準(zhǔn)參數(shù)，從而使得它們?cè)谶@種情況下更加魯棒并且更容易使用。Kim，Shin和Kweon [138]通過(guò)將慣性讀數(shù)從IMU幀轉(zhuǎn)換為第二幀，重新制定了IMU預(yù)積分[33-35]。這允許IMU和其他傳感器（包括其他IMU）之間的校準(zhǔn)，但不包括時(shí)間校準(zhǔn)，并且依賴(lài)于計(jì)算陀螺儀測(cè)量的角加速度。Li和Mourikis[131]在移動(dòng)設(shè)備上使用的濾波器框架中，在單個(gè)IMU相機(jī)對(duì)之間同時(shí)校準(zhǔn)空間和時(shí)間外參，后來(lái)擴(kuò)展到包括相機(jī)和IMU的內(nèi)參[139]。Qin和Shen [132]擴(kuò)展了他們之前關(guān)于基于批量的單目VINS [31]的工作，通過(guò)插入圖像平面上的特征位置來(lái)包括相機(jī)和IMU之間的時(shí)間偏移。施奈德等人[140]提出了利用信息量最大的運(yùn)動(dòng)的可觀(guān)察性在線(xiàn)校準(zhǔn)。雖然我們最近還分析了時(shí)空校準(zhǔn)的簡(jiǎn)并運(yùn)動(dòng)[141]，但尚未完全理解如何對(duì)內(nèi)參進(jìn)行最優(yōu)建模并同時(shí)校準(zhǔn)它們與外參[142,143]。

4、可觀(guān)性分析

系統(tǒng)可觀(guān)測(cè)性在一致?tīng)顟B(tài)估計(jì)的設(shè)計(jì)中起著重要作用[49]，它檢查可用測(cè)量提供的信息是否足以估計(jì)狀態(tài)/參數(shù)而沒(méi)有模糊[133,144,145]。當(dāng)系統(tǒng)可觀(guān)測(cè)時(shí)，能觀(guān)性矩陣是可逆的，這也與Fisher信息（或協(xié)方差）矩陣密切相關(guān)[146,147]。由于該矩陣描述了在測(cè)量中可用的信息，通過(guò)研究其零空間，我們可以獲得有關(guān)估計(jì)器應(yīng)獲取信息的狀態(tài)空間方向的見(jiàn)解。。在我們之前的工作[46-48,52,146,148-150]中，我們是第一個(gè)為機(jī)器人定位問(wèn)題設(shè)計(jì)可觀(guān)察性約束（OC）一致估計(jì)器的團(tuán)隊(duì)。從那時(shí)起，VINS的可觀(guān)察性分析（例如，[19,38,151,152]）成為了一個(gè)重要的研究方向。

特別是，VINS非線(xiàn)性可觀(guān)測(cè)性分析被研究者使用不同的非線(xiàn)性系統(tǒng)分析技術(shù)進(jìn)行了研究。例如，Jones和Soatto [128]以及Hernandez，Tsotsos和Soatto [153]對(duì)系統(tǒng)的難以區(qū)分的軌跡[154]從可觀(guān)察性的角度進(jìn)行了檢驗(yàn)。通過(guò)采用[155]中的連續(xù)對(duì)稱(chēng)概念，Martinelli [122]分析得出了VINS的閉合形式解，并確定了IMU偏差，3D速度，全局滾動(dòng)和俯仰角是可觀(guān)測(cè)的。他還研究了退化運(yùn)動(dòng)[156]，最小可用傳感器[157]，協(xié)同VIO [126]和未知輸入[158,159]對(duì)系統(tǒng)可觀(guān)測(cè)性的影響?；诶顚?dǎo)數(shù)和可觀(guān)測(cè)矩陣秩檢驗(yàn)[133]，Hesch等。[51]分析表明，單目VINS有4個(gè)不可觀(guān)察的方向，對(duì)應(yīng)于全球偏航和外感受傳感器的全球位置。Guo和Roumeliotis[69]將這種方法擴(kuò)展到RGBD相機(jī)輔助INS，如果點(diǎn)和平面測(cè)量都可用，則保留相同的不可觀(guān)測(cè)方向。根據(jù)類(lèi)似的想法，在[74,129,160]中，分析研究了IMU相機(jī)（單目，RGBD）校準(zhǔn)的可觀(guān)測(cè)性，這表明在給定通用運(yùn)動(dòng)的情況下IMU和相機(jī)之間的外參平移分量是可觀(guān)測(cè)的。另外，在[161,162]中，具有來(lái)自水平平面的向下看的相機(jī)測(cè)量點(diǎn)特征的系統(tǒng)被示出具有傳感器的可觀(guān)測(cè)的全局z位置。

實(shí)際上，VINS估計(jì)器通常建立在線(xiàn)性化系統(tǒng)上，實(shí)際上更重要的是對(duì)線(xiàn)性化VINS進(jìn)行可觀(guān)測(cè)性分析。特別地，線(xiàn)性化VINS系統(tǒng)的可觀(guān)測(cè)性矩陣[41,163]具有零空間（即，不可觀(guān)察的子空間），其理想地跨越全局平移和繞重力矢量的全局旋轉(zhuǎn)四個(gè)方向[19,38,40,51] ]。在為VINS設(shè)計(jì)非線(xiàn)性估計(jì)器時(shí)，我們希望估計(jì)器使用的系統(tǒng)模型具有由這些方向跨越的不可觀(guān)測(cè)子空間。然而，如[19,38-40,51]所示，標(biāo)準(zhǔn)EKF不是這種情況。特別是，標(biāo)準(zhǔn)EKF線(xiàn)性化系統(tǒng)在當(dāng)前狀態(tài)估計(jì)時(shí)使系統(tǒng)和測(cè)量函數(shù)線(xiàn)性化，具有三個(gè)不可觀(guān)測(cè)的子空間，而不是四個(gè)維度。這意味著濾波器從可用測(cè)量中獲得不存在的信息，從而導(dǎo)致不一致。為了解決這個(gè)問(wèn)題，采用了第一個(gè)估計(jì)雅可比（FEJ）思想[47]來(lái)提高M(jìn)SCKF一致性[19,40]，OC方法[48]用于開(kāi)發(fā)OC-VINS[38,39,50] ]。我們最近還開(kāi)發(fā)了robocentricVIO（R-VIO）[22,63]，它保留了與線(xiàn)性化點(diǎn)無(wú)關(guān)的適當(dāng)?shù)目捎^(guān)察性。

隨著慣性和視覺(jué)傳感器變得無(wú)處不在，視覺(jué)慣性導(dǎo)航系統(tǒng)（VINS）已經(jīng)進(jìn)行了大量的研究工作，并在過(guò)去十年中取得了巨大的進(jìn)步，在實(shí)踐中促進(jìn)了越來(lái)越多的創(chuàng)新應(yīng)用。作為SLAM問(wèn)題的一個(gè)特例，VINS研究人員在SLAM之上迅速建立了豐富的文獻(xiàn)資料[36]。鑒于該領(lǐng)域發(fā)表的論文越來(lái)越多，了解最新技術(shù)水平變得越來(lái)越難（尤其是從業(yè)者）。此外，由于特定的傳感器特性，在不了解文獻(xiàn)中現(xiàn)有方法的優(yōu)缺點(diǎn)的情況下從頭開(kāi)發(fā)VINS算法并非易事（注意每種方法都有其特定的關(guān)注點(diǎn)，并不一定解決VINS估計(jì)的所有方面）。所有這些都激勵(lì)我們對(duì)VINS進(jìn)行研究，據(jù)我們所知，遺憾的是，這些研究在現(xiàn)有文獻(xiàn)中是缺乏，因此對(duì)于正在研究這個(gè)問(wèn)題的研究人員/工程師來(lái)說(shuō)應(yīng)該是一個(gè)有用的參考?；谖覀?cè)谠擃I(lǐng)域的重要工作，我們通過(guò)關(guān)注構(gòu)建VINS算法的關(guān)鍵方面，包括狀態(tài)估計(jì)，傳感器校準(zhǔn)和可觀(guān)察性分析，盡量使這篇論文簡(jiǎn)潔而完整。

雖然過(guò)去十年中VINS取得了重大進(jìn)展，但仍有許多挑戰(zhàn)需要應(yīng)對(duì)，下面我們列舉一些可供討論的問(wèn)題：

?持久定位：雖然目前的VINS能夠提供準(zhǔn)確的3D運(yùn)動(dòng)跟蹤，但是僅限于在小規(guī)模友好的環(huán)境中，它們不夠魯棒，不適合長(zhǎng)期，大規(guī)模，安全關(guān)鍵的部署，例如自動(dòng)駕駛，部分由于資源限制[95,97,164]。因此，要求即使在具有挑戰(zhàn)性的條件（例如不良照明和運(yùn)動(dòng)）中也能夠?qū)崿F(xiàn)持久性VINS，例如通過(guò)有效地集成閉環(huán)或構(gòu)建和利用新的地圖。

?語(yǔ)義定位和建圖：雖然點(diǎn)，線(xiàn)和平面[151,165]等幾何特征主要用于當(dāng)前的VINS進(jìn)行定位，但這些手動(dòng)提取的特征可能不適用于導(dǎo)航，并且能夠通過(guò)深度學(xué)習(xí)最新優(yōu)勢(shì)，了解VINS的最佳功能[166]。此外，最近的一些研究努力試圖賦予VINS對(duì)環(huán)境的語(yǔ)義理解[167-170]，這只是零星地探索但具有很大的潛力。

?高維對(duì)象跟蹤：在動(dòng)態(tài)復(fù)雜環(huán)境中導(dǎo)航時(shí)，除了高精度定位外，通常還需要檢測(cè)，表示和跟蹤在同一空間中實(shí)時(shí)共存的移動(dòng)對(duì)象，例如3D對(duì)象跟蹤自主導(dǎo)航[92,171,172]。

?分布式協(xié)作VINS：雖然已在[126,173]中初步研究了合作VINS，但開(kāi)發(fā)實(shí)時(shí)分布式VINS仍然具有挑戰(zhàn)性，例如，用于眾包操作。最近關(guān)于合作繪圖的工作[174,175]可能會(huì)對(duì)如何解決這個(gè)問(wèn)題提供一些啟示。

?對(duì)不同輔助傳感器的擴(kuò)展：雖然在許多應(yīng)用中，光學(xué)相機(jī)被視為INS的理想輔助源，但其他輔助傳感器可能更適合某些環(huán)境和運(yùn)動(dòng)，例如，聲學(xué)聲納可能在水下使用[176]；低成本的輕量級(jí)激光雷達(dá)可以在環(huán)境中更好地工作，例如在光照條件差的情況下[71,177]；以及事件相機(jī)[178,179]可以更好地捕捉動(dòng)態(tài)運(yùn)動(dòng)[180,181]。在這個(gè)方向上，我們應(yīng)該研究使用不同輔助源的深入VINS擴(kuò)展，以便應(yīng)用于我們手上的工作。

審核編輯：郭婷