基于NeRF的實時激光雷達SLAM算法

作者：泡椒味的口香糖?

0. 筆者個人體會

NeRF結合SLAM是這兩年很新興的方向，但是也非常難。一方面是NeRF本身訓練慢渲染慢很難達到實時，另一方面是現(xiàn)在大多NeRF SLAM的定位精度很難和傳統(tǒng)SLAM相比，還有一些對運行GPU要求高、落地難等等的問題。而且由于NeRF本身更偏向于室內場景，所以很多NeRF SLAM都沒辦法做室外。前段時間開源的NeRF-LOAM算是開了先河，感興趣的小伙伴可以關注一下。這里也推薦「3D視覺工坊」新課程（第二期）徹底搞懂基于LOAM框架的3D激光SLAM：源碼剖析到算法優(yōu)化》。

但是NeRF SLAM這個方向是很有希望的，相信所有問題在未來都可以被解決。今天筆者將帶領讀者閱讀RAL 2023開源的工作LONER，宣稱是第一個基于NeRF的實時純雷達SLAM，而且定位精度和建圖質量都很高。

注意，這篇文章并沒有對比NeRF-LOAM，主要是因為這篇文章投稿的時候NeRF-LOAM還沒有開源。

1. 效果展示

先來看看LONER的建圖效果，右上角是Mesh地圖，紅色是軌跡，其他圖像是新視點合成的深度圖。LONER在訓練NeRF以后，可以將NeRF地圖離線渲染為Mesh和深度圖。整個建圖和深度渲染的效果還是很好的。

感覺這項工作最大的意義在于可以在室外實時運行，而且代碼開源。感興趣的小伙伴可以跟蹤一下github，下面我們來看具體的論文信息。

2. 摘要

本文提出了LONER，第一個使用神經隱式場景表示的實時激光雷達SLAM算法?，F(xiàn)有的激光雷達隱式建圖方法在大規(guī)模重建中顯示出有希望的結果，但要么需要地面真實姿態(tài)，要么比實時運行慢。相比之下，LONER使用激光雷達數(shù)據(jù)訓練MLP實時估計密集地圖，同時估計傳感器的軌跡。為了實現(xiàn)實時性能，本文提出了一種新的信息論損失函數(shù)，該函數(shù)考慮了在整個在線訓練中地圖的不同區(qū)域可能被學習到不同程度的事實。該方法在兩個開源數(shù)據(jù)集上進行了定性和定量評估。該評估表明，與深度監(jiān)督神經隱式框架中使用的其他損失函數(shù)相比，所提出的損失函數(shù)收斂更快，并且導致更精確的幾何重建。最后，本文表明，LONER估計軌跡與最先進的激光雷達SLAM方法相比具有競爭力，同時也產生了與使用地面真實姿態(tài)的現(xiàn)有實時隱式映射方法相比具有競爭力的密集地圖。

3. 算法解析

LONER是一個純LiDAR算法，也沒有使用IMU。雷達掃描首先降采樣（將為5 Hz），然后用ICP跟蹤，并從場景幾何中分割出天空。對于建圖線程，是使用當前關鍵幀和隨機選擇的過去關鍵幀來更新，并維護一個滑窗來優(yōu)化。跟蹤和建圖兩個線程并行運行，但是建圖線程的幀率較低，并準備關鍵幀用來訓練NeRF。最后使用作者專門設計的損失函數(shù)來更新位姿和MLP權重，生成的隱式地圖可以離線渲染為各種格式，比如深度圖和Mesh。

作者在跟蹤線程里直接使用了Point-to-Plane ICP算法來估計位姿，并在mapping線程里優(yōu)化，沒有使用MLP估計位姿，主要還是為了降低計算量達到實時。運動補償還使用了恒速模型假設。

NeRF渲染這一塊，就是用傳統(tǒng)的分層特征編碼渲染體密度，體渲染過程和NeRF一樣。

損失函數(shù)這里作者使用的trick比較多，包括一個JS損失、一個深度損失、還有一個sky損失。

JS損失是在LOS損失（參考Urban radiance fields這篇文章）上改的，LOS損失給每條射線的余量都是一樣的，并且在整個訓練中呈指數(shù)衰減。JS損失的公式和LOS一樣，但是基于JS散度給每條射線設置了加權余量，來提高訓練收斂和重建精度。

再來看看這么做的具體數(shù)學機理，LOS損失迫使學習區(qū)域預測更高的方差來破壞學習信息。相反，所提出的JS損失根據(jù)目標分布和預測樣本分布之間的相似性來設置每條射線的動態(tài)余量?。JS損失可以為未觀察到的區(qū)域中的光線設置較高的余量來改善收斂，并為已學習區(qū)域中的光線設置較低的余量以改進已學習的幾何圖形。所以JS損失要優(yōu)于LOS損失。

深度損失沒啥可說的，就是計算渲染深度和LiDAR深度之間的L2損失。最后還有一個sky損失，是為了應對室外NeRF的無邊界問題，主要思想是強制指向天空的光線權重為零。具體做法是將每次掃描轉換為深度圖像，過一次擴張和腐蝕過濾，抑制空點。

最后，可以將生成的NeRF離線渲染為Mesh，注意這一部分不在online訓練里。具體的轉換過程是，在關鍵幀位置設定虛擬雷達，然后沿著LiDAR射線計算權重，將權重存儲到3D網格中。如果多個權重落在同一個網格單元，就保留最大值。

4. 實驗

對比的Baseline包含兩部分，一個是跟NICE-SLAM和Lego-LOAM對比精度，一個是借用CLONeR和URF的損失函數(shù)來驗證它自己損失的有效性。使用的數(shù)據(jù)集包括Fusion Portable和Newer College兩個，兩個數(shù)據(jù)集都沒有什么動態(tài)對象。實驗設備是AMD Ryzen 5950X CPU和一塊NVidia A6000 GPU。

首先是一個跟NICE-SLAM和Lego-LOAM的精度對比，LONER的精度明顯優(yōu)于LeGO-LOAM，這個還挺驚訝的，因為本身LONER沒有為SLAM設計什么特殊的模塊。而NICE-SLAM的精度明顯比其他兩個低，還容易跟丟，這也很容易理解，因為NICE-SLAM本身就是為室內場景設計的。這個實驗也證明了LONER自身的損失函數(shù)是有效的。

然后是一個地圖重建性能的定量評估，包括準確性(估計地圖中每個點到真值中每個點的平均距離)和完整性(真值地圖中每個點到估計地圖中每個點的平均距離)。LONER效果也很不錯。

對于建圖的定性評估，LONER可以恢復更精細的細節(jié)并生成鬼影更少的地圖。

損失函數(shù)收斂速度的對比，評估單次掃描進行訓練時每個函數(shù)的收斂性。使用CARLA模擬器，計算渲染深度圖像的均方誤差。結果表明JS損失比其他損失收斂得快。這里也推薦「3D視覺工坊」新課程（第二期）徹底搞懂基于LOAM框架的3D激光SLAM：源碼剖析到算法優(yōu)化》。

兩個消融實驗，分別對比SLAM和損失函數(shù)的組合對性能的影響。具體指標是比較渲染深度與激光雷達深度來評估L1深度損失，這一點和NeRF框架中常用的L1深度很像。

最后就是大家很關心的運行速度，作者報告的是每次跟蹤平均需要14ms，每個關鍵幀分配50次迭代，每3秒添加一個關鍵幀。執(zhí)行50次迭代的平均時間是2.79秒，每次迭代大約56毫秒。因此，地圖以大約18Hz的頻率更新，并且系統(tǒng)在每個關鍵幀分配的3秒內完成處理一個關鍵幀，整體上看是達到了實時。

5. 總結

LONER發(fā)表并開源在RAL 2023上，宣傳是第一個基于NeRF的實時純雷達SLAM。但看完這篇文章總感覺缺點什么，感覺作者沒有講清楚LONER為什么達到了實時，pipeline里用的NeRF似乎就是最經典的NeRF架構。實時是因為LiDAR SLAM的框架設計簡單？還是因為損失函數(shù)的設計導致收斂速度非常快？這個歡迎大家一起討論。

編輯：黃飛

?