基于視覺(jué)傳感器的ORB-SLAM系統(tǒng)的學(xué)習(xí)

01、背景介紹

自主導(dǎo)航是機(jī)器人基礎(chǔ)性和關(guān)鍵性技術(shù)，是機(jī)器人實(shí)現(xiàn)其他更高級(jí)任務(wù)的前提。視覺(jué) SLAM （Simultaneous Localization And Mapping） 利用視覺(jué)傳感器獲取環(huán)境圖像信息，基于多視圖幾何算法構(gòu)建環(huán)境地圖。視覺(jué)SLAM技術(shù)廣泛應(yīng)用于無(wú)人駕駛、元宇宙、游戲、智能機(jī)器人等領(lǐng)域。在無(wú)人駕駛方面，一些大廠如騰訊、阿里、百度、華為、小米、商湯等企業(yè)投入重金研發(fā)，開(kāi)放大量關(guān)于視覺(jué)SLAM職位。同時(shí)，國(guó)內(nèi)許多獨(dú)角獸無(wú)人駕駛公司如Momenta、AutoX、小馬智能和圖森未來(lái)等舉重金招募視覺(jué)SLAM人才。隨著元宇宙的火爆，國(guó)內(nèi)互聯(lián)網(wǎng)巨頭尤其字節(jié)跳動(dòng)，紛紛將大量資金投入元宇宙，致使視覺(jué)SLAM人才進(jìn)一步稀缺，引發(fā)視覺(jué)SLAM更高的薪酬與福利。

02、ORB-SLAM3介紹

視覺(jué)SLAM是一種基于視覺(jué)傳感器的 SLAM 系統(tǒng)，與激光傳感器相比，視覺(jué)傳感器具有成本低、保留環(huán)境語(yǔ)義信息的優(yōu)點(diǎn)，能夠與深度學(xué)習(xí)進(jìn)行大量結(jié)合。ORB-SLAM系列算法是視覺(jué)SLAM中具有最廣泛關(guān)注與應(yīng)用的算法。ORB-SLAM3是一個(gè)支持視覺(jué)、視覺(jué)+慣導(dǎo)、混合地圖的SLAM系統(tǒng)，可以在單目、雙目和RGB-D相機(jī)上利用針孔或者魚(yú)眼模型運(yùn)行。在大場(chǎng)景/小場(chǎng)景、室內(nèi)/室外，ORB-SLAM3都能魯棒地實(shí)時(shí)運(yùn)行，被廣泛應(yīng)用于商業(yè)化產(chǎn)品中。

03、學(xué)習(xí)難點(diǎn)

在學(xué)習(xí)ORB-SLAM3過(guò)程中，需要掌握算法部署、主要線程之間的邏輯關(guān)系，吃透ORB-SLAM3算法原理和底層代碼。主要難點(diǎn)包括：深入理解關(guān)鍵幀、共視圖、因子圖等重要概念；掌握IMU預(yù)積分的推導(dǎo)過(guò)程，以及局部建圖線程、閉環(huán)與地圖合并線程之間的算法邏輯等！

審核編輯：郭婷