基于單目視覺 SLAM的無人機(jī)實(shí)時(shí)生成探索地圖的解決方案

by Anne Steenbeek and Francesco Nex *

提出了一種使用低成本無人機(jī)實(shí)時(shí)生成探索地圖的解決方案。這依賴于Tello Edu無人機(jī)提供的信息，該無人機(jī)將圖像流式傳輸?shù)酵獠抗P記本電腦上以進(jìn)行實(shí)時(shí)處理。該解決方案運(yùn)行單目視覺 SLAM來注冊圖像并創(chuàng)建未縮放的環(huán)境地圖。

然而，這些信息不足以估計(jì)場景的規(guī)模，并且不能提供環(huán)境的密集重建。為了解決這些問題，SLAM 算法隨后與基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的方法集成，利用單圖像深度估計(jì)(SIDE)算法來估計(jì)環(huán)境的規(guī)模并從一組視頻幀中對環(huán)境的3D重建進(jìn)行致密化。最終融合這些信息以生成探索地圖并實(shí)時(shí)定義環(huán)境的體積。這種方法的目標(biāo)是提供快速的3D地圖，以支持 FR在搜索和救援行動期間探索未知的室內(nèi)環(huán)境。

所提出的方法旨在使用飛行期間從無人機(jī)流式傳輸?shù)膱D像實(shí)時(shí)生成探索地圖。該解決方案可分為四個(gè)主要步驟，如圖1所示: (i) 無人機(jī)數(shù)據(jù)采集和流式傳輸；(ii) SLAM算法；(iii) 致密化和縮放；(iv) 探索地圖生成。這些步驟嵌入在ROS（機(jī)器人操作系統(tǒng)）中，以實(shí)現(xiàn)不同組件之間的高效通信：(ii) 中的算法在CPU上運(yùn)行，而 (iii) 和 (iv) 中的算法都利用了用過的電腦。由于SLAM系統(tǒng)是基于特征的，因此地圖由稀疏的三角化3D特征點(diǎn)組成，但沒有為我們提供正確的比例尺。CNN處理在飛行過程中獲取的RGB 圖像（只有幾個(gè)關(guān)鍵幀）以檢索比例并創(chuàng)建密集的深度圖。然后將SLAM和CNN 算法產(chǎn)生的信息結(jié)合起來生成3D占用圖。

圖1 所提出解決方案的主要步驟概述

01? 無人機(jī)和數(shù)據(jù)流

Tello EDU已被用于數(shù)據(jù)采集和流式傳輸（表1）。該平臺相對易于使用，規(guī)模有限，其成本保證了高可復(fù)制性，從而滿足了急救人員的需求。WIFI通信允許在筆記本電腦上流式傳輸圖像，而可用的 SDK保證遙測的接收和與平臺的連接。雖然無人機(jī)有一個(gè)板載IMU，但它的SDK不允許讀取原始傳感器數(shù)據(jù)。

表 1 Tello Edu無人機(jī)的技術(shù)規(guī)格

02? 基于 CNN 的密集化和縮放

已經(jīng)開發(fā)了單圖像深度估計(jì)(SIDE) 網(wǎng)絡(luò)來估計(jì)對象空間中每個(gè)圖像像素的距離。在使用具有真實(shí)距離的深度圖像進(jìn)行訓(xùn)練后，它已被開發(fā)為在消費(fèi)類筆記本電腦上實(shí)時(shí)運(yùn)行。這有雙重動機(jī)：（i）在對象空間中擴(kuò)展 SLAM 提供的重建；(ii) 通過將SLAM生成的稀疏深度圖與CNN融合來致密化3D重建。與許多SIDE算法不同，SLAM定義的稀疏深度樣本作為附加約束添加到輸入中的RGB 圖像中，以細(xì)化深度估計(jì)。所開發(fā)的方法基于，它結(jié)合這些輸入來預(yù)測詳細(xì)的深度圖像（圖2）。該架構(gòu)具有編碼器-解碼器結(jié)構(gòu)，編碼器處理輸入信息并將其轉(zhuǎn)換為特征圖。然后將這些映射堆疊在一起以產(chǎn)生解碼器的輸出。

圖2 使用的CNN架構(gòu)。綠色框描述編碼層，而黃色框是解碼層。請注意，圖像和深度圖最初都是下采樣的

03? 探索地圖

神經(jīng)網(wǎng)絡(luò)的深度估計(jì)通常在對應(yīng)于深度不連續(xù)性（所謂的“混合像素”）和圖像邊界上提供不準(zhǔn)確的重建，尤其是在低紋理區(qū)域的對應(yīng)中（圖3）。這些偽影會降低點(diǎn)云的質(zhì)量，尤其是當(dāng)融合不同的深度圖以生成完整的3D重建時(shí)。

圖3 ( a ) 深度過濾示例：藍(lán)點(diǎn)被保留，而紅點(diǎn)被認(rèn)為是混合像素并被丟棄。( b ) 凸包選擇區(qū)域示例：僅使用紅線內(nèi)的區(qū)域進(jìn)行深度估計(jì)，剩余的外圍區(qū)域被丟棄。

依次應(yīng)用兩種不同的方法來限制受錯(cuò)誤重建影響的區(qū)域?；旌舷袼赝ㄟ^計(jì)算有效的異常值去除進(jìn)行過濾。所有點(diǎn)最初都存儲在 KD樹中，并確定每個(gè)點(diǎn)到其鄰居的平均距離（即30個(gè)點(diǎn)）。然后為整個(gè)點(diǎn)云計(jì)算這些距離的平均值和標(biāo)準(zhǔn)偏差。然后刪除距離高于某個(gè)閾值的點(diǎn)（圖3a中的紅點(diǎn)）。僅考慮由圖像中的SLAM特征定義的凸包并排除該區(qū)域之外的3D重建，就可以去除圖像邊界上的低紋理區(qū)域（參見圖3b）。

04? 測試環(huán)境的 3D 重建——初步結(jié)果

第一次測試采集持續(xù)了大約 70 秒，它是通過在房間內(nèi)移動無人機(jī)進(jìn)行的。實(shí)時(shí)生成的3D重建如圖4所示。

圖4 ( a ) 測試環(huán)境全景圖；( b ) 生成點(diǎn)云的透視圖；( c ) 與地板的參考平面測量進(jìn)行比較

在點(diǎn)云中仍然可以看到一些殘余變形，影響其質(zhì)量。正如預(yù)期的那樣，在眼鏡（b中場景的上部）和低紋理區(qū)域（c中的下部）的對應(yīng)中，噪聲水平會增加。房間的入口也是重建的關(guān)鍵部分（c中的左下部分）。然而，估計(jì)的比例是準(zhǔn)確的，提供了現(xiàn)實(shí)的測量，同時(shí)根據(jù) FR 的需要保留了場景的整體幾何形狀。

第二次測試是在一個(gè)方形房間里進(jìn)行的，持續(xù)了大約50秒。與前一種情況一樣，SIDE 重建的噪聲無法完全去除，在場景中產(chǎn)生了一些偽影（圖5）。然而，房間的規(guī)模和形狀都被保留了下來。玻璃和反射面強(qiáng)烈影響重建，如房間右側(cè)所示，并在重建中產(chǎn)生重大錯(cuò)誤。

圖5 ( a ) 測試環(huán)境生成點(diǎn)云透視圖；( b ) 與地板的參考平面測量進(jìn)行比較

呈現(xiàn)的結(jié)果表明仍有很大的改進(jìn)空間：未來的測試將使用更高質(zhì)量的PC來運(yùn)行更深的網(wǎng)絡(luò)，并評估這是否允許更好的3D重建。訓(xùn)練數(shù)據(jù)集并不理想，因?yàn)镵inect提供的深度圖質(zhì)量低，并且需要使數(shù)據(jù)適應(yīng)無人機(jī)的相機(jī)參數(shù)。在這方面，一個(gè)新的專用數(shù)據(jù)集將允許更好地訓(xùn)練網(wǎng)絡(luò)并改進(jìn)重建。

編輯：黃飛

?