用于SLAM的神經(jīng)隱含可擴(kuò)展編碼

摘要

最近，神經(jīng)隱含表征在各個(gè)領(lǐng)域顯示出令人鼓舞的結(jié)果，包括在同步定位和映射（SLAM）方面取得的可喜進(jìn)展。然而，現(xiàn)有的方法產(chǎn)生了過度平滑的場(chǎng)景重建，并且難以擴(kuò)展到大場(chǎng)景。這些限制主要是由于其簡(jiǎn)單的全連接網(wǎng)絡(luò)結(jié)構(gòu)，沒有將局部信息納入觀察范圍。

在本文中，我們提出了NICE-SLAM，這是一個(gè)密集的SLAM系統(tǒng)，通過引入分層的場(chǎng)景表示，納入了多層次的本地信息。用預(yù)先訓(xùn)練好的幾何先驗(yàn)來優(yōu)化這個(gè)表示，可以在大的室內(nèi)場(chǎng)景中進(jìn)行詳細(xì)的重建。與最近的神經(jīng)隱含SLAM系統(tǒng)相比，我們的方法更具可擴(kuò)展性、效率和魯棒性。在五個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，NICE-SLAM在映射和跟蹤質(zhì)量方面都具有競(jìng)爭(zhēng)力。

主要貢獻(xiàn)

我們提出了NICE-SLAM，一個(gè)密集的RGB-DSLAM系統(tǒng)，它具有實(shí)時(shí)性、可擴(kuò)展性、預(yù)測(cè)性和對(duì)各種挑戰(zhàn)性場(chǎng)景的魯棒性。

NICE-SLAM的核心是一個(gè)分層的、基于網(wǎng)格的神經(jīng)隱式編碼。與全局神經(jīng)場(chǎng)景編碼相比，這種表示法允許局部更新，這是大規(guī)模方法的一個(gè)先決條件。

我們?cè)诟鞣N數(shù)據(jù)集上進(jìn)行了廣泛的評(píng)估，證明了在映射和跟蹤方面具有競(jìng)爭(zhēng)力的性能。

主要方法

我們的方法將RGB-D圖像流作為輸入，并以分層特征網(wǎng)格的形式輸出攝像機(jī)的姿勢(shì)和學(xué)習(xí)到的場(chǎng)景表示。從右到左，我們的管道可以被解釋為一個(gè)生成模型，它根據(jù)給定的場(chǎng)景表示和攝像機(jī)姿勢(shì)渲染深度和顏色圖像。在測(cè)試時(shí)，我們通過逆向傳播圖像和深度重建損失來解決逆向問題，并通過可區(qū)分的渲染器（從左到右）來估計(jì)場(chǎng)景表現(xiàn)和攝像機(jī)的姿勢(shì)。

這兩個(gè)實(shí)體都是在交替優(yōu)化中估計(jì)的。映射：逆?zhèn)鞑ブ桓聦哟位膱?chǎng)景表示。跟蹤：逆?zhèn)鞑ブ桓聰z像機(jī)的姿態(tài)。為了提高可讀性，我們將用于幾何編碼的細(xì)尺度網(wǎng)格與同等大小的顏色網(wǎng)格結(jié)合起來，并將它們顯示為具有兩個(gè)屬性（紅色和橙色）的一個(gè)網(wǎng)格。

1. 層次化的場(chǎng)景表示

現(xiàn)在我們介紹一下我們的分層場(chǎng)景表示，它結(jié)合了多級(jí)網(wǎng)格特征和預(yù)訓(xùn)練的解碼器，用于占用率預(yù)測(cè)。幾何圖形被編碼成三個(gè)特征網(wǎng)格j l θ和它們相應(yīng)的MLP解碼器f l，其中l(wèi)∈{0，1，2}是指粗、中、細(xì)三級(jí)場(chǎng)景細(xì)節(jié)。此外，我們還有一個(gè)單一的特征網(wǎng)格ψω和解碼器gω來模擬場(chǎng)景外觀。這里θ和ω表示幾何和顏色的可優(yōu)化參數(shù)，即網(wǎng)格中的特征和顏色解碼器中的權(quán)重。

2. 深度和色彩渲染

給定相機(jī)的固有參數(shù)和當(dāng)前相機(jī)的姿勢(shì)，我們可以計(jì)算出一個(gè)像素坐標(biāo)的觀察方向r。我們首先沿著這條射線對(duì)Nstrat點(diǎn)進(jìn)行分層采樣，同時(shí)對(duì)靠近深度的Nimp點(diǎn)進(jìn)行均勻采樣1。

我們對(duì)每條射線總共取樣N=Nstrat+Nimp點(diǎn)。更正式地說，讓pi = o + dir, i∈ {1, - -, N}表示給定攝像機(jī)原點(diǎn)o的射線r上的采樣點(diǎn)，di對(duì)應(yīng)于pi沿該射線的深度值。對(duì)于每一個(gè)點(diǎn)pi，我們可以計(jì)算出它們的粗粒度占用概率o0 pi，細(xì)粒度占用概率opi，和顏色值cpi。

最后，對(duì)于每條射線，在粗略和精細(xì)層面的深度，以及顏色可以被呈現(xiàn)為：

3. 建圖和跟蹤

建圖。

為了優(yōu)化上文提到的場(chǎng)景表示，我們從當(dāng)前幀和選定的關(guān)鍵幀中均勻地取樣共M個(gè)像素。接下來，我們以分階段的方式進(jìn)行優(yōu)化，以最小化幾何和光度損失。

幾何損失僅僅是觀測(cè)值和預(yù)測(cè)深度之間的L1損失，在粗略的或精細(xì)的水平上為：

光度損失為：

相機(jī)跟蹤。

除了優(yōu)化場(chǎng)景表示外，我們還平行運(yùn)行攝像機(jī)跟蹤，以優(yōu)化當(dāng)前幀的攝像機(jī)姿勢(shì)，即旋轉(zhuǎn)和平移{R，t}。為此，我們對(duì)當(dāng)前幀中的Mt像素進(jìn)行采樣，并應(yīng)用上面相同的光度損失，但使用一個(gè)修改過的幾何損失：

修改后的損失在重建的幾何形狀中減少了某些區(qū)域的權(quán)重，例如物體的邊緣。攝像機(jī)跟蹤最終被表述為以下最小化問題：

4. 關(guān)鍵幀的選擇 與其他SLAM系統(tǒng)類似

我們用一組選定的關(guān)鍵幀不斷優(yōu)化我們的分層場(chǎng)景表示。我們按照iMAP的方法維護(hù)一個(gè)全局關(guān)鍵幀列表，我們根據(jù)信息增益逐步添加新的關(guān)鍵幀。然而，與iMAP相比，我們?cè)趦?yōu)化場(chǎng)景幾何時(shí)只包括與當(dāng)前幀有視覺重疊的關(guān)鍵幀。這是可能的，因?yàn)槲覀兡軌驅(qū)ξ覀兊幕诰W(wǎng)格的表示進(jìn)行局部更新，而且我們不會(huì)像iMap那樣存在關(guān)鍵幀消失的問題。

這種關(guān)鍵幀選擇策略不僅確保了當(dāng)前視圖之外的幾何形狀保持靜態(tài)，而且還導(dǎo)致了一個(gè)非常有效的優(yōu)化問題，因?yàn)槲覀兠看沃粌?yōu)化必要的參數(shù)。在實(shí)踐中，我們首先隨機(jī)地對(duì)像素進(jìn)行采樣，并使用優(yōu)化后的相機(jī)姿勢(shì)對(duì)相應(yīng)的深度進(jìn)行反投影。

然后，我們將點(diǎn)云投影到全局關(guān)鍵幀列表中的每個(gè)關(guān)鍵幀。從這些有點(diǎn)投射到的關(guān)鍵幀中，我們隨機(jī)選擇K-2幀。此外，我們還將最近的關(guān)鍵幀和當(dāng)前的幀包括在場(chǎng)景表示優(yōu)化中，形成總共K個(gè)活動(dòng)幀。

主要結(jié)果

審核編輯：劉清