一種基于深度注意力感知特征的視覺定位框架

0.筆者個(gè)人體會：

這個(gè)工作來自于Baidu ADT部門，是該團(tuán)隊(duì)繼L3-Net之后的在自動駕駛領(lǐng)域內(nèi)關(guān)于定位的又一力作，其利用圖像數(shù)據(jù)取得了與基于Lidar的方法相當(dāng)?shù)亩ㄎ痪取?其突出的優(yōu)勢在于：

1.該方法達(dá)到了極高的精度。即使是在訓(xùn)練以及建圖是用到了激光雷達(dá)（點(diǎn)云數(shù)據(jù)），但在實(shí)際線上使用時(shí)，只用了圖像數(shù)據(jù)。在這種設(shè)置下，本方法大大節(jié)省了實(shí)際使用時(shí)的成本，并達(dá)到了厘米級別的精度。

2.該方法繼承了L3-Net在求解位姿時(shí)的做法，即基于Cost volume求解位姿修正量。這種設(shè)置可以滿足端到端訓(xùn)練的需求，并在某種程度上等價(jià)于對候選的位姿進(jìn)行遍歷對比，求解了一定范圍內(nèi)的最優(yōu)解。

3.該方法的時(shí)間效率可控。隨著選擇較少的關(guān)鍵點(diǎn)數(shù)量，該方法可以達(dá)到極高的時(shí)間效率。

但此方法也有一定的不足，即該方法嚴(yán)重依賴于給定初始預(yù)測位姿的精度。基于Cost volume的定位本質(zhì)上是在候選位姿集合上做一個(gè)遍歷，選擇其中的最優(yōu)解。

但如果給定的初始預(yù)測位姿精度不夠時(shí)，所有候選位姿的精度都有限，即無法得到一個(gè)精度較高的定位結(jié)果。這個(gè)問題可能為實(shí)際使用帶來一定的局限性。

1、論文相關(guān)內(nèi)容介紹：

摘要：針對自動駕駛應(yīng)用領(lǐng)域，本文提出了一種基于深度注意力感知特征的視覺定位框架，該框架可達(dá)到厘米級的定位精度。傳統(tǒng)的視覺定位方法依賴于手工制作的特征或道路上的人造物體。然而，它們要么容易由于嚴(yán)重的外觀或光照變化而導(dǎo)致不穩(wěn)定的匹配，要么太過稀少，無法在具有挑戰(zhàn)性的場景中提供穩(wěn)定和魯棒的定位結(jié)果。

在這項(xiàng)工作中，本文利用深度注意力機(jī)制，通過一種新的端到端深度神經(jīng)網(wǎng)絡(luò)來尋找場景中有利于長距離匹配的顯著的、獨(dú)特的和穩(wěn)定的特征。此外，此學(xué)習(xí)的特征描述符被證明有能力建立魯棒的匹配，因此成功地估計(jì)出最優(yōu)的、具有高精度的相機(jī)姿態(tài)。

本文使用新收集的具有高質(zhì)量的地面真實(shí)軌跡和傳感器之間硬件同步的數(shù)據(jù)集全面驗(yàn)證了本方法的有效性。

結(jié)果表明，與基于lidar的定位解決方案相比，在各種具有挑戰(zhàn)性的環(huán)境下，本文的方法獲得了具有競爭力的定位精度，這是一種潛在的低成本自動駕駛定位解決方案。

主要貢獻(xiàn)：

1.提出一種新穎的自動駕駛視覺定位框架，在各種具有挑戰(zhàn)性的照明條件下達(dá)到了厘米級定位精度。

2.通過一種新的端到端深度神經(jīng)網(wǎng)絡(luò)使用了注意力機(jī)制和深層特征，這有效的提高了算法性能。

3.使用具有高質(zhì)量的地面真實(shí)軌跡和硬件（相機(jī)、激光雷達(dá)、IMU）同步的新數(shù)據(jù)集對所提出的方法進(jìn)行嚴(yán)格測試，并驗(yàn)證了其性能。

方法介紹：

該系統(tǒng)分為三個(gè)階段:(1)網(wǎng)絡(luò)訓(xùn)練;(2)地圖生成;(3)在線定位。地圖生成和在線定位都可以看作是經(jīng)過訓(xùn)練的網(wǎng)絡(luò)的應(yīng)用。提出的網(wǎng)絡(luò)架構(gòu)如圖1所示。



Fig1：基于端到端深度注意力感知特征的視覺定位框架在三個(gè)不同階段的網(wǎng)絡(luò)架構(gòu)和系統(tǒng)工作流:a)訓(xùn)練;bb)地圖生成;c)在線定位。

一、系統(tǒng)工作流

1. 訓(xùn)練：

訓(xùn)練階段包括三個(gè)模塊，LFE, AKS和WFM。首先，給定一個(gè)預(yù)測位姿，并選取其在歐氏距離內(nèi)最接近的地圖圖像；接下來，LFE模塊分別從在線圖像和地圖圖像中提取稠密特征，并從地圖圖像中提取相應(yīng)的注意力熱圖。AKS模塊根據(jù)熱圖的注意力得分，從地圖圖像中選擇具備好的特征的點(diǎn)作為關(guān)鍵點(diǎn)。

然后通過激光雷達(dá)點(diǎn)云投影得到它們的相應(yīng)的三維坐標(biāo)。最后，以這些三維關(guān)鍵點(diǎn)和特征描述符作為輸入，WFM模塊在一個(gè)三維代價(jià)卷中搜索，尋找最優(yōu)位姿偏移量，并將最優(yōu)位姿偏移量與地面真實(shí)位姿進(jìn)行比較，構(gòu)造損失函數(shù)。

2.地圖生成：

訓(xùn)練結(jié)束后，使用如圖2所示的網(wǎng)絡(luò)的部分子網(wǎng)絡(luò)，可以完成地圖生成。給定激光雷達(dá)掃描和車輛真實(shí)位姿，可以很容易地獲得激光雷達(dá)點(diǎn)的全局三維坐標(biāo)。注意，激光雷達(dá)傳感器和車輛位姿真值僅用于建圖。首先，在給定車輛真實(shí)位姿的情況下，通過將三維激光雷達(dá)點(diǎn)投影到圖像上，將地圖圖像像素與全局三維坐標(biāo)關(guān)聯(lián)起來。

然后利用LFE網(wǎng)絡(luò)求解地圖圖像的注意力熱圖和不同分辨率的特征圖。接下來，在AKS模塊的金字塔中為不同的分辨率選擇一組關(guān)鍵點(diǎn)?？傮w而言，本方法將關(guān)鍵點(diǎn)及其特征描述符，以及其3D坐標(biāo)保存到地圖數(shù)據(jù)庫中。

3.在線定位：

在定位階段，利用LFE網(wǎng)絡(luò)再次估計(jì)在線圖像中不同分辨率的特征圖。本方法從給定的相機(jī)的預(yù)測位姿的最近的地圖圖像中收集關(guān)鍵點(diǎn)及其特征描述符和全局3D坐標(biāo)。

然后，在WFM模塊中，構(gòu)建的成本卷中給出了候選位姿，而這些關(guān)鍵點(diǎn)則被利用這些候選位姿投影到在線圖像上。通過三個(gè)不同分辨率的特征匹配網(wǎng)絡(luò)級聯(lián)實(shí)現(xiàn)由粗到細(xì)的位姿估計(jì)。



Fig.2 三個(gè)主要模塊的網(wǎng)絡(luò)結(jié)構(gòu)說明:(a)局部特征學(xué)習(xí)(LFE);(b)關(guān)鍵點(diǎn)選取(AKS);(c)加權(quán)特征匹配(WFM)。

二、局部特征學(xué)習(xí)

在所有三個(gè)不同的階段都使用相同的LFE模塊。本文采用了一種類似于特征金字塔網(wǎng)絡(luò)(FPN)的網(wǎng)絡(luò)架構(gòu)，如圖2(a)所示。通過將編碼器和解碼器中相同大小的特征圖級聯(lián)起來，F(xiàn)PN可以在所有尺度上增強(qiáng)高級語義特征，從而獲得更強(qiáng)大的特征提取器。

在本方法的編碼器中有一個(gè)FPN，其由17層網(wǎng)絡(luò)組成，可以分解為4個(gè)階段。第一階段由兩個(gè)二維卷積層組成，其中括號中的數(shù)字分別是通道、核和步幅大小。從第二階段開始，每個(gè)階段包括一個(gè)二維卷積層和兩個(gè)殘差塊。每個(gè)殘差塊由兩個(gè)3 × 3卷積層組成。

在解碼器中，經(jīng)過二維卷積層后，上采樣層被應(yīng)用于從更粗糙但語義更強(qiáng)的特征中產(chǎn)生更高分辨率的特征。來自編碼器的相同分辨率的特征被通過按元素平均來合并以增強(qiáng)解碼器中的這些特征。解碼器的輸出是原始圖像的不同分辨率的特征圖。再通過如圖2右下角所示的兩個(gè)不同的網(wǎng)絡(luò)頭，分別用于提取特征描述符和估計(jì)注意力熱圖

。特征描述符表示為d維向量，能夠在不同光照或視點(diǎn)條件引起的嚴(yán)重外觀變化下進(jìn)行魯棒匹配。該熱圖由[0-1]標(biāo)量組成，這些標(biāo)量在后文的基于注意力的關(guān)鍵點(diǎn)選擇和特征匹配模塊中用作相關(guān)性權(quán)重。更具體地說，



是描述符學(xué)習(xí)模塊輸出， 其中s∈2,4,8是尺度因子，D = 8為特征維度。注意力熱圖輸出是．

三、關(guān)鍵點(diǎn)選取

在研究過程中，了解到不同的關(guān)鍵點(diǎn)選擇策略對系統(tǒng)的整體性能有相當(dāng)大的影響。AKS模塊分為兩個(gè)階段:訓(xùn)練和地圖生成。當(dāng)在解決一個(gè)幾何問題時(shí)，眾所周知，相較于聚集在一起的關(guān)鍵點(diǎn)，在幾何空間中幾乎均勻分布的一組關(guān)鍵點(diǎn)是至關(guān)重要的。

本方法發(fā)現(xiàn)，提出的方法優(yōu)于其他更自然的選擇，例如top-K。本方法考慮了兩種選擇策略，即最遠(yuǎn)點(diǎn)采樣(FPS)算法及其變體，加權(quán)FPS (WFPS)算法（如圖2(b)所示）。給定一組已選點(diǎn)S和未選點(diǎn)Q，如果試圖迭代地從Q中選擇一個(gè)新點(diǎn), FPS算法會計(jì)算



在本方法的WFPS算法中，取而代之的是計(jì)算



在訓(xùn)練階段，本方法的目標(biāo)是統(tǒng)一學(xué)習(xí)所有的候選者的注意力分?jǐn)?shù)，因此必須要有一個(gè)有效的隨機(jī)選擇策略。為此，首先隨機(jī)抽取K個(gè)候選點(diǎn)，然后，本方法應(yīng)用FPS算法來選擇其中的關(guān)鍵點(diǎn)。 在地圖生成階段，本方法通過有效地結(jié)合學(xué)習(xí)的注意力權(quán)重實(shí)現(xiàn)了一個(gè)能夠選擇好的關(guān)鍵點(diǎn)的算法。

本方法再次隨機(jī)選擇K個(gè)候選點(diǎn)，然后在地圖生成過程中使用WFPS，并以熱圖為采樣概率來使用稠密采樣。 為了將二維特征描述符與三維坐標(biāo)相關(guān)聯(lián)，本方法將3D激光雷達(dá)點(diǎn)投射到圖像上。考慮到并非所有的圖像像素都與LiDAR點(diǎn)相關(guān)聯(lián)，本方法只考慮與已知三維坐標(biāo)有關(guān)聯(lián)的稀疏2D像素作為候選點(diǎn)，從中選擇適合匹配的關(guān)鍵點(diǎn)。

四、加權(quán)特征匹配

傳統(tǒng)方法通常利用RANSAC框架中的PnP求解器來求解給定2D-3D對應(yīng)的攝像機(jī)位姿估計(jì)問題。不幸的是，這些包括異常值拒絕步驟的匹配方法是不可微的，從而阻礙了他們在訓(xùn)練階段的反向傳播。

L3-Net引入了一種特征匹配和位姿估計(jì)方法，該方法利用可微分的三維代價(jià)卷來評估給定的位姿偏移量下，來自在線圖像和地圖圖像的對應(yīng)特征描述符對的匹配代價(jià)。 下面，本方法對原來的L3-Net設(shè)計(jì)進(jìn)行改進(jìn)，提出將注意力權(quán)重納入解決方案，并使其有效訓(xùn)練。網(wǎng)絡(luò)架構(gòu)如圖2(c)所示。

代價(jià)卷：與L3-Net的實(shí)現(xiàn)類似，本方法建立了一個(gè)



的代價(jià)卷，其中為所選關(guān)鍵點(diǎn)的個(gè)數(shù)，和為每個(gè)維度的網(wǎng)格大小。具體來說，給定預(yù)測位姿作為代價(jià)卷中心，將其相鄰空間均勻劃分為一個(gè)三維網(wǎng)格，記為

。

該代價(jià)卷中的節(jié)點(diǎn)是候選位姿，本方法希望從中評估其對應(yīng)的特征對并找到最優(yōu)解。具體而言，利用每個(gè)候選位姿將地圖圖像中選定的三維關(guān)鍵點(diǎn)投影到在線圖像上，通過對在線圖像特征圖進(jìn)行雙線性插值，計(jì)算出對應(yīng)的局部特征描述符。通過計(jì)算在線和地圖圖像的兩個(gè)描述符之間的元素的總的L2距離，本方法實(shí)現(xiàn)了一個(gè)單維代價(jià)標(biāo)量。然后，由一個(gè)以Conv3D(8,1,1)-Conv3D(8,1,1)-Conv3D(1,1,1)為內(nèi)核的三層三維CNN對代價(jià)卷進(jìn)行處理，結(jié)果記為

邊緣化：通過應(yīng)用平均操作，在關(guān)鍵點(diǎn)維度上將匹配代價(jià)卷邊緣化為。

在LFE模塊的熱圖學(xué)習(xí)訓(xùn)練中，成功的關(guān)鍵在于如何有效地結(jié)合所有關(guān)鍵點(diǎn)特征的注意力權(quán)重。與沒有注意力權(quán)重的平均相比，最直接的解決方案是使用加權(quán)平均操作取代直接平均。

本方法在訓(xùn)練時(shí)使用加權(quán)平均，在在線定位化階段使用直接平均。 其余部分估計(jì)的最優(yōu)偏移量及其概率分布與圖2 (c)所示的L3-Net的設(shè)計(jì)相同。

五、損失函數(shù)設(shè)計(jì)

1)絕對損失:以估計(jì)偏移量與真值之間的絕對距離作為第一個(gè)損失:

其中α是一個(gè)平衡因子。

2)聚集損失:除上述絕對損失外，概率分布對估計(jì)的魯棒性也有相當(dāng)大的影響。因此，取



其中。

從而第二個(gè)損失函數(shù)定義為。


3)相似損失:除幾何約束外，對應(yīng)的2D-3D關(guān)鍵點(diǎn)該有相似的描述符。因此，本方法將第三個(gè)損失定義為:



其中，為關(guān)鍵點(diǎn)P的三維CNN的輸出，當(dāng)使用真值位姿將地圖中的關(guān)鍵點(diǎn)投影到在線圖像上時(shí)，在在線圖像中找到對應(yīng)的點(diǎn)，并計(jì)算匹配點(diǎn)對之間的描述符的距離。是一個(gè)常數(shù)。

審核編輯：劉清