基于深度學習的LiDAR SLAM框架（DeepPointMap）

1、導(dǎo)讀

SLAM是機器人和自動駕駛領(lǐng)域中的一個基本問題，旨在在探索環(huán)境的同時重建地圖并估計機器人在其中的位置。激光雷達的點云數(shù)據(jù)被廣泛應(yīng)用于捕捉環(huán)境的復(fù)雜三維結(jié)構(gòu)。然而，現(xiàn)有的SLAM方法要么依賴于密集的點云數(shù)據(jù)以實現(xiàn)高精度定位，要么使用通用的描述符來減小地圖的大小。這兩個方面似乎存在沖突。因此，我們提出了一種統(tǒng)一的架構(gòu)，DeepPointMap（DPM），在這兩個方面都具有出色的優(yōu)勢。

2、研究內(nèi)容

我們提出了一種名為DeepPointMap的深度學習框架，用于解決LiDAR SLAM中的定位和地圖構(gòu)建問題。傳統(tǒng)的LiDAR SLAM方法要么依賴于密集的點云數(shù)據(jù)以實現(xiàn)高精度定位，要么使用通用的描述符來減小地圖的大小。然而，這兩個方面似乎存在沖突。為了解決這個問題，我們提出了一種統(tǒng)一的架構(gòu)，即DeepPointMap，既能實現(xiàn)高效的內(nèi)存使用的地圖表示，又能實現(xiàn)準確的多尺度定位任務(wù)（如里程計和閉環(huán)檢測）。

3、創(chuàng)新

本研究的創(chuàng)新性主要體現(xiàn)在以下幾個方面：

統(tǒng)一的神經(jīng)網(wǎng)絡(luò)描述符：本研究提出了DeepPointMap（DPM）框架，其中包括DPM編碼器和DPM解碼器兩個神經(jīng)網(wǎng)絡(luò)。DPM編碼器能夠從點云數(shù)據(jù)中提取高度代表性且稀疏的神經(jīng)描述符，實現(xiàn)了對環(huán)境的高效編碼。與傳統(tǒng)的手工設(shè)計特征相比，這些神經(jīng)描述符既能夠減小地圖的內(nèi)存占用，又能夠保持高精度的定位和重建能力。

多尺度匹配和注冊：DPM解碼器能夠基于神經(jīng)描述符進行多尺度的匹配和注冊，包括里程計和閉環(huán)檢測。與其他基于神經(jīng)描述符的方法相比，DPM解碼器能夠在統(tǒng)一的框架下完成多個SLAM子任務(wù)，實現(xiàn)了定位精度、內(nèi)存效率、地圖保真度和實時處理的統(tǒng)一優(yōu)化。

多智能體協(xié)作SLAM：本研究將DPM框架擴展到多智能體協(xié)作SLAM領(lǐng)域。每個智能體都維護自己的SLAM系統(tǒng)，并在本地進行里程計和閉環(huán)檢測。通過將觀測數(shù)據(jù)進行合并和優(yōu)化，實現(xiàn)了全局一致性的軌跡估計和地圖重建。這在通信帶寬有限的多智能體系統(tǒng)中具有重要意義。

4、方法

該框架包括兩個神經(jīng)網(wǎng)絡(luò)：DPM編碼器和DPM解碼器。DPM編碼器從點云中提取高度代表性和稀疏的神經(jīng)描述符，實現(xiàn)了內(nèi)存高效的地圖表示和準確的多尺度定位任務(wù)。DPM解碼器基于這些神經(jīng)描述符進行多尺度匹配和注冊。與其他神經(jīng)描述符方法不同的是，DPM描述符可以統(tǒng)一地用于SLAM任務(wù)的多個子任務(wù)，具有出色的定位精度、內(nèi)存效率、地圖保真度和實時處理能力。

4.1、DPM編碼器

DPM編碼器使用稀疏描述符來表示復(fù)雜的點云數(shù)據(jù)，這些描述符包含了壓縮的語義信息。輸入是一個點云，可以表示為一組3D點。DPM編碼器實際上是一個PointNeXt的主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)從密集的點云P中采樣稀疏的關(guān)鍵點，并提取它們的鄰域幾何特征，其中是特征向量的維度。主干網(wǎng)絡(luò)的最終輸出是統(tǒng)一的描述符云，用于表示密集的點云。我們可以通過并集操作將多個描述符云合并成一個，用于表示地圖級別的描述符云，而無需重新提取特征。

4.2、DPM解碼器

DPM解碼器用于預(yù)測兩個描述符云之間的變換關(guān)系，它包括四個部分：（1）描述符級變換塊，用于融合兩個輸入描述符云之間的深度相關(guān)特征；（2）相似性頭，用于計算兩個描述符云之間的對應(yīng)關(guān)系；（3）偏移頭，用于預(yù)測描述符云之間的偏移量；（4）旋轉(zhuǎn)頭，用于預(yù)測描述符云之間的旋轉(zhuǎn)矩陣。這些部分共同工作，實現(xiàn)了描述符云之間的匹配和配準，從而實現(xiàn)了定位和閉環(huán)檢測等多尺度的定位任務(wù)。

4.3、訓(xùn)練

在訓(xùn)練DeepPointMap時，作者使用了幾個不同的數(shù)據(jù)集。其中包括SemanticKITTI、KITTI-360和MulRan。作者還使用了KITTI-Carla數(shù)據(jù)集進行訓(xùn)練。訓(xùn)練集和測試集的劃分是根據(jù)幀數(shù)的比例進行的，大約是6:4的比例。在訓(xùn)練過程中，作者使用了絕對姿態(tài)誤差（APE）來評估預(yù)測軌跡的全局準確性。在定位準確性方面，DeepPointMap與其他6種最新的里程計和SLAM方法進行了比較，包括KISS-ICP、LeGO-LOAM、SC-LeGO-LOAM、MULLS、CT-ICP和GeoTransformer。作者還進行了轉(zhuǎn)移實驗，將DeepPointMap在KITTI-360和KITTI-Carla上訓(xùn)練，并直接在SemanticKITTI上評估其性能。在內(nèi)存效率方面，DeepPointMap相對于原始點云、Voxel Hashmap和Mesh等方法能夠節(jié)省大約50%至70%的內(nèi)存。最后，作者還進行了多智能體合作SLAM實驗，展示了DeepPointMap在多智能體場景下的優(yōu)越性能。

4.4、損失函數(shù)

訓(xùn)練DeepPointMap模型時使用了以下?lián)p失函數(shù)和策略：

Pairing Loss（配對損失）：使用InfoNCE損失函數(shù)作為配對損失函數(shù)，用于訓(xùn)練DPM Encoder和Decoder。配對損失函數(shù)用于衡量描述符之間的相似性，以促進正確的匹配。具體而言，對于每個描述符，根據(jù)其與描述符的距離來確定是正樣本還是負樣本。配對損失函數(shù)的目標是最大化正樣本的相似性，同時最小化負樣本的相似性。

Coarse Pairing Loss（粗配對損失）：為了確保DPM Encoder提取的統(tǒng)一描述符云能夠初步區(qū)分描述符的對應(yīng)關(guān)系，采用了類似于配對損失的粗配對損失。粗配對損失函數(shù)的定義與配對損失函數(shù)類似，但是將負樣本分為兩類：一類是距離大于閾值的負樣本，另一類是中性樣本，不參與損失的計算。這樣做的目的是為了更好地處理那些接近但不是最接近的描述符對，因為這些對在不同的時間可能會作為正樣本和負樣本，從而引起歧義。

Offset Loss（偏移損失）：使用Offset Loss訓(xùn)練Offset Head。根據(jù)前面定義的三種配對類型，使用正樣本和中性樣本來訓(xùn)練Offset Head，以預(yù)測描述符對之間的偏移量。偏移損失函數(shù)的目標是最小化預(yù)測偏移量與真實偏移量之間的差異。

Overlap Loss（重疊損失）：使用交叉熵損失函數(shù)訓(xùn)練Overlap Head。重疊損失函數(shù)用于預(yù)測輸入的描述符對是否重疊，即它們之間的距離是否小于閾值。

Overall Loss（總損失）：DeepPointMap的方向損失由總損失函數(shù)定義?？倱p失函數(shù)是配對損失、粗配對損失和偏移損失的加權(quán)和。通過調(diào)整權(quán)重參數(shù)、和，可以平衡不同損失函數(shù)的重要性。

此外，還使用了數(shù)據(jù)增強和課程學習策略來提高模型的性能。數(shù)據(jù)增強策略包括隨機遮擋，用于模擬激光雷達掃描受到遮擋的情況。課程學習策略逐漸增加描述符云的規(guī)模，從簡單到復(fù)雜的場景進行訓(xùn)練，以逐步學習大規(guī)模注冊任務(wù)的能力。

5、實驗結(jié)果

實驗設(shè)置：使用了四個自動駕駛相關(guān)的數(shù)據(jù)集進行實驗評估，分別是SemanticKITTI、KITTI-360、MulRan和KITTI-Carla。在訓(xùn)練過程中，使用AdamW優(yōu)化器、初始學習率、權(quán)重衰減和余弦學習率調(diào)度器。網(wǎng)絡(luò)在6個RTX 3090 GPU上進行訓(xùn)練，共訓(xùn)練12個epochs。

定位準確性：與六種最新的里程計和SLAM方法進行比較，包括KISS-ICP、LeGO-LOAM、SC-LeGO-LOAM、MULLS、CT-ICP和GeoTransformer。在SemanticKITTI、KITTI-360和MulRan數(shù)據(jù)集上比較了DeepPointMap與這些方法的定位準確性。結(jié)果顯示，DeepPointMap在不同數(shù)據(jù)集上都能取得類似的定位準確性，并且在大規(guī)模地圖上表現(xiàn)出更好的性能。

內(nèi)存效率：評估了DeepPointMap的內(nèi)存效率，并與其他常用方法進行比較，包括原始點云、Voxel Hashmap和Mesh。結(jié)果顯示，DeepPointMap相比其他方法能夠節(jié)省高達70%的內(nèi)存空間。

多智能體合作SLAM實驗：將DeepPointMap擴展到多智能體合作SLAM任務(wù)中，模擬了真實世界的多智能體合作SLAM場景。在SemanticKITTI數(shù)據(jù)集上選擇了三個子序列，并將它們分配給三個獨立的智能體進行重建。實驗結(jié)果顯示，DeepPointMap能夠成功重建多智能體觀測到的點云，并保持全局一致性。

通過這些實驗驗證了DeepPointMap在定位準確性、內(nèi)存效率和多智能體合作SLAM方面的優(yōu)越性能。

6、根據(jù)這項研究，后續(xù)可能的研究方向有哪些?

根據(jù)這項研究，可能的后續(xù)研究方向包括但不限于以下幾個方面：

網(wǎng)絡(luò)結(jié)構(gòu)改進：可以進一步改進DeepPointMap的網(wǎng)絡(luò)結(jié)構(gòu)，以提高其性能和效率。例如，可以探索更復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)或引入注意力機制來提取更具代表性的神經(jīng)描述符。

多模態(tài)融合：可以將深度學習方法與其他傳感器數(shù)據(jù)（如相機圖像）進行融合，以提高SLAM系統(tǒng)的魯棒性和準確性。通過融合多種傳感器數(shù)據(jù)，可以更好地理解環(huán)境并實現(xiàn)更準確的定位和地圖重建。

魯棒性改進：可以研究如何提高DeepPointMap在復(fù)雜環(huán)境和動態(tài)場景下的魯棒性。例如，可以探索如何處理遮擋、動態(tài)物體和不完整的點云數(shù)據(jù)，以提高系統(tǒng)的魯棒性和適應(yīng)性。

實時性優(yōu)化：可以進一步優(yōu)化DeepPointMap的計算效率，以實現(xiàn)實時的SLAM系統(tǒng)?？梢酝ㄟ^模型壓縮、硬件加速或并行計算等方法來減少計算復(fù)雜度，提高系統(tǒng)的實時性能。

多智能體合作SLAM：可以進一步研究如何在多智能體合作SLAM中應(yīng)用DeepPointMap。可以探索如何實現(xiàn)智能體之間的信息共享和協(xié)作，以實現(xiàn)全局一致性的地圖重建和定位。

這些是可能的后續(xù)研究方向，通過進一步的研究和實驗，可以進一步提升DeepPointMap的性能和應(yīng)用范圍。

7、總結(jié)

我們提出了一種基于深度學習的LiDAR SLAM框架，稱為DeepPointMap（DPM）。該框架包括兩個神經(jīng)網(wǎng)絡(luò)：DPM編碼器和DPM解碼器。與其他神經(jīng)描述符方法不同的是，DPM描述符可以統(tǒng)一地用于SLAM任務(wù)的多個子任務(wù)，具有出色的定位精度、內(nèi)存效率、地圖保真度和實時處理能力。DeepPointMap在定位精度、地圖重建質(zhì)量和內(nèi)存消耗方面取得了新的最優(yōu)結(jié)果。此外，該框架還在多智能體協(xié)作SLAM方面展示了其靈活性和潛力。因此，DeepPointMap為LiDAR SLAM領(lǐng)域的發(fā)展提供了一種有效的解決方案。

審核編輯：黃飛