0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

基于自動駕駛汽車記錄的3D激光掃描的SLAM閉環(huán)問題討論

3D視覺工坊 ? 來源:古月居 ? 作者:lovely_yoshino ? 2022-10-27 11:08 ? 次閱讀

簡介

我們在之前的博客中討論了一些激光回環(huán)檢測的方法,但是基本都是圍繞著點云特征去做的,并未涉足過深度學習的相關方法,之前作者在查找《經(jīng)典文獻閱讀之—BoW3D》資料時看到了一個比較感興趣的工作《OverlapNet: Loop Closing for LiDAR-based SLAM》,同時這個文章還擁有對應的開源源碼Github,非常適合復現(xiàn)以及學習。

工作重心

同時定位和映射(SLAM)是大多數(shù)自主系統(tǒng)所需的基本能力。在本文中,我們討論了基于自動駕駛汽車記錄的3D激光掃描的SLAM閉環(huán)問題。

我們的方法利用深度神經(jīng)網(wǎng)絡,利用從激光雷達數(shù)據(jù)生成的不同線索來尋找環(huán)路閉合。

它估計廣義到距離圖像的圖像重疊,并提供掃描對之間的相對偏航角估計。

基于這些預測,我們處理環(huán)路閉合檢測,并將我們的方法集成到現(xiàn)有的SLAM系統(tǒng)中,以改善其映射結果。

簡單來說,作者通過深度學習完成點云轉換為影像,然后做回環(huán)檢測, 輸出Overlap和yaw的操作步驟,文中指出,本文的主要創(chuàng)新點有:

能夠利用多個線索,不需提前知道兩個雷達掃描的相對位姿,只利用范圍、法向量、強度和語義等線索,使用深度神經(jīng)網(wǎng)絡直接估計兩個激光雷達掃描的重疊率,以及相對偏航角。

結合里程計信息和重疊率預測實現(xiàn)閉環(huán)的檢測、修正,可以檢測到的閉環(huán)整合到現(xiàn)有SLAM系統(tǒng)中,可以提高整體位姿估計的結果,產(chǎn)生全局一致的地圖。

無需先驗位姿信息,解決在自動駕駛中3D LiDAR SLAM 的閉環(huán)檢測問題,使用產(chǎn)生正確掃描匹配結果的OverlapNet網(wǎng)絡預測初始化ICP

詳細算法

2.1 Overlap的概念

作者認為直接對比兩個點云之間的距離不夠精確,因為會受漂移的影響。

因此提出用重疊率來代替距離檢測回環(huán)。具體思路是由影像的overlap中來,要成功匹配兩個圖像并計算它們的相對姿態(tài),圖像必須重疊。

這可以通過將重疊百分比定義為第一圖像中的像素的百分比來量化,該像素可以在沒有遮擋的情況下成功地投影回第二圖像中。

請注意,該度量不是對稱的:如果圖像對存在較大的尺度差異。

例如,一幅圖像顯示一堵墻,另一幅顯示該墻周圍的許多建筑物,則第一到第二幅圖像的重疊百分比可能較大,而第二到第一幅圖像的交疊百分比較低。

在本文中,我們使用了距離圖像重疊的思想,明確地利用了距離信息

8c57625a-4576-11ed-96c9-dac502259ad0.png

對于環(huán)路閉合,重疊百分比的閾值可用于決定兩個激光雷達掃描是否在同一位置和/或環(huán)路閉合。

對于環(huán)路閉合,這種測量可能比一對掃描記錄位置之間的常用距離更好,因為位置可能會受到漂移的影響,因此不可靠。

重疊預測與相對姿勢無關,因此可用于查找環(huán)路閉合,而無需知道掃描之間的正確相對姿勢。

2.2 激光雷達掃描對之間重疊的定義

8c85df40-4576-11ed-96c9-dac502259ad0.png8cb5aa86-4576-11ed-96c9-dac502259ad0.png

簡單來說就是將兩個點云轉化為二維圖并且坐標系對齊,如果兩個坐標差小于閾值記為1,否則為零,求和再除以兩個圖中像素較小的那個,作者想用這個等式建立訓練集。

對于旋轉,作者選擇旋轉多個角度,用最大重疊值代表最終重疊值。

2.3 網(wǎng)絡結構

下圖描述了所提出的重疊網(wǎng)絡的概述。我們利用了多個線索,這些線索可以從單個激光雷達掃描中生成,包括深度、法線、強度和語義類概率信息。

深度信息存儲在由一個通道組成的范圍圖R中。我們使用頂點映射的鄰域信息來生成法線映射N,它有三個通道編碼法線坐標。

我們直接從傳感器獲得強度信息,也稱為緩解,并使用強度信息為單通道強度圖I。使用RangeNet++計算逐點語義類概率,我們將其表示為語義圖S。

RangeNet++提供20個不同類的概率。為了提高效率,我們使用主成分分析將20維RangeNet++輸出縮減為壓縮的三維向量。

信息被組合成一個大小為64×900×D64×900×D的輸入張量,其中64900是輸入的高度和寬度,$D$取決于使用的數(shù)據(jù)類型.

8ce9b0c4-4576-11ed-96c9-dac502259ad0.png

這里沒有特別仔細去研究,具體就是由兩個共享權重的Legs和由Legs生成的相同特征體積對的Head組成。

進一步說這個模型的作用就是將深度圖,向量圖,強度圖,還用RangeNet++做了個語義圖一起作為輸入。

一個輸出是角度特征向量,一個輸出是兩次掃描之間的重疊率。

8d00c44e-4576-11ed-96c9-dac502259ad0.png8d32d52e-4576-11ed-96c9-dac502259ad0.png

同時使用基于surfel的映射系統(tǒng)SuMa作為的SLAM的 pipeline,并將OverlapNet集成到SuMa中,以取代其原始的啟發(fā)式環(huán)路閉合檢測方法。

所以說最后就是SuMa+OverlapNet的集合完成的。

8d5eaf0a-4576-11ed-96c9-dac502259ad0.png





審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • SLAM
    +關注

    關注

    23

    文章

    417

    瀏覽量

    31758
  • 激光掃描
    +關注

    關注

    0

    文章

    113

    瀏覽量

    11420

原文標題:經(jīng)典文獻閱讀之—OverlapNet

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    激光雷達在SLAM算法中的應用綜述

    一、文章概述 1.1 摘 要 即時定位與地圖構建(simultaneous localization and mapping,SLAM)是自主移動機器人和自動駕駛的關鍵 技術之一,而激光雷達則是支撐
    的頭像 發(fā)表于 11-12 10:30 ?80次閱讀
    <b class='flag-5'>激光</b>雷達在<b class='flag-5'>SLAM</b>算法中的應用綜述

    自動駕駛汽車安全嗎?

    隨著未來汽車變得更加互聯(lián),汽車逐漸變得更加依賴技術,并且逐漸變得更加自動化——最終實現(xiàn)自動駕駛,了解自動駕駛
    的頭像 發(fā)表于 10-29 13:42 ?412次閱讀
    <b class='flag-5'>自動駕駛</b><b class='flag-5'>汽車</b>安全嗎?

    使用STT全面提升自動駕駛中的多目標跟蹤

    3D多目標跟蹤(3D MOT)在各種機器人應用中發(fā)揮著關鍵作用,例如自動駕駛車輛。為了在駕駛時避免碰撞,機器人汽車必須可靠地跟蹤道路上的物體
    的頭像 發(fā)表于 10-28 10:07 ?123次閱讀
    使用STT全面提升<b class='flag-5'>自動駕駛</b>中的多目標跟蹤

    自動駕駛HiL測試方案 ——場景仿真3D演示#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年10月16日 10:55:35

    3D激光線掃輪廓傳感器在汽車行業(yè)的汽車車縫檢測的應用

    在實際應用中,3D激光線掃傳感器可以集成到自動化檢測系統(tǒng)中,與機器人或自動化輸送系統(tǒng)配合,實現(xiàn)對汽車車縫的全面檢測。這些系統(tǒng)通常包括傳感器、
    的頭像 發(fā)表于 09-14 09:00 ?342次閱讀
    <b class='flag-5'>3D</b><b class='flag-5'>激光</b>線掃輪廓傳感器在<b class='flag-5'>汽車</b>行業(yè)的<b class='flag-5'>汽車</b>車縫檢測的應用

    聊聊自動駕駛離不開的感知硬件

    自動駕駛飛速發(fā)展,繞不開感知、決策和控制決策的經(jīng)典框架,而感知作為自動駕駛汽車“感官”的重要組成部分,決定了自動駕駛系統(tǒng)對環(huán)境的理解和反應能力。為了讓
    的頭像 發(fā)表于 08-23 10:18 ?381次閱讀

    神經(jīng)重建在自動駕駛模擬中的應用

    AD和ADAS系統(tǒng)需要在能代表真實世界的3D環(huán)境條件下,依靠閉環(huán)驗證確保安全性和性能,然而手工構建的3D環(huán)境很難解決Sim2Real的差距并且在可擴展方面存在一定的局限性。為此康謀為您介紹神經(jīng)重建如何打破限制,在
    的頭像 發(fā)表于 08-21 10:03 ?971次閱讀
    神經(jīng)重建在<b class='flag-5'>自動駕駛</b>模擬中的應用

    FPGA在自動駕駛領域有哪些優(yōu)勢?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領域具有顯著的優(yōu)勢,這些優(yōu)勢使得FPGA成為自動駕駛技術中不可或缺的一部分。以下是FPGA在自動駕駛
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領域有哪些應用?

    低,適合用于實現(xiàn)高效的圖像算法,如車道線檢測、交通標志識別等。 雷達和LiDAR處理:自動駕駛汽車通常會使用雷達和LiDAR(激光雷達)等多種傳感器來獲取環(huán)境信息。FPGA能夠協(xié)助完成這些傳感器
    發(fā)表于 07-29 17:09

    自動駕駛汽車如何識別障礙物

    自動駕駛汽車識別障礙物是一個復雜而關鍵的過程,它依賴于多種傳感器和技術的協(xié)同工作。這些傳感器主要包括激光雷達(LiDAR)、雷達、攝像頭以及超聲波雷達等,它們各自具有不同的工作原理和優(yōu)勢,共同為
    的頭像 發(fā)表于 07-23 16:40 ?876次閱讀

    未來已來,多傳感器融合感知是自動駕駛破局的關鍵

    的架構,預計未來許多智能駕駛團隊都會引入“占用網(wǎng)絡”來提升系統(tǒng)能力。多維像素的應用前景非常廣闊。昱感微的融合感知技術+BEV +Transformer+占用網(wǎng)格有望成為L3/L4級自動駕駛最優(yōu)的落地方案。 昱感微電子融合感知平
    發(fā)表于 04-11 10:26

    怎么去使用激光掃描技術(VCJ)增強的3D打印呢?

    一種創(chuàng)新型的激光掃描技術可以快速地實現(xiàn)多種材料3D打印,實現(xiàn):結構更精細,材料更多樣。
    的頭像 發(fā)表于 01-15 16:47 ?499次閱讀

    如何搞定自動駕駛3D目標檢測!

    可用于自動駕駛場景下基于圖像的3D目標檢測的數(shù)據(jù)集總結。其中一些數(shù)據(jù)集包括多個任務,這里只報告了3D檢測基準(例如KITTI 3D發(fā)布了超過40K的圖像,其中約15K用于
    發(fā)表于 01-05 10:43 ?542次閱讀
    如何搞定<b class='flag-5'>自動駕駛</b><b class='flag-5'>3D</b>目標檢測!

    LabVIEW開發(fā)自動駕駛的雙目測距系統(tǒng)

    LabVIEW開發(fā)自動駕駛的雙目測距系統(tǒng) 隨著車輛駕駛技術的不斷發(fā)展,自動駕駛技術正日益成為現(xiàn)實。從L2級別的輔助駕駛技術到L3級別的受條件
    發(fā)表于 12-19 18:02

    什么是激光雷達3D SLAM技術?

    什么是激光雷達3DSLAM?在了解這個概念之前,我們首先需要弄懂什么是“SLAM”。SLAM,英文是SimultaneousLocalizationandMapping,意思是即時定位
    的頭像 發(fā)表于 11-25 08:23 ?1526次閱讀
    什么是<b class='flag-5'>激光</b>雷達<b class='flag-5'>3D</b> <b class='flag-5'>SLAM</b>技術?