本文建立了一個(gè)用于無(wú)人機(jī)距離估計(jì)的UAVDE數(shù)據(jù)集,通過(guò)UWB傳感器獲取兩個(gè)無(wú)人機(jī)之間的距離。實(shí)驗(yàn)發(fā)現(xiàn)傳統(tǒng)的立體測(cè)量法在無(wú)人機(jī)場(chǎng)景中無(wú)法應(yīng)用,原因是無(wú)人機(jī)位置偏差問(wèn)題。為了解決這個(gè)問(wèn)題,提出了一種新的位置修正模塊(PCM),可以直接預(yù)測(cè)圖像位置和無(wú)人機(jī)實(shí)際位置之間的偏移量,并在立體測(cè)量中進(jìn)行計(jì)算補(bǔ)償。此外,為了進(jìn)一步提升在難樣本上的性能,提出了一個(gè)動(dòng)態(tài)迭代修正機(jī)制,通過(guò)多個(gè)堆疊的PCM和門控機(jī)制來(lái)適應(yīng)地決定是否需要進(jìn)一步修正。通過(guò)廣泛的實(shí)驗(yàn),作者的方法在UAVDE上取得了38.84%的性能提升,證明了其有效性和優(yōu)越性。
1 前言
本文介紹了群體無(wú)人機(jī)的研究和應(yīng)用的重要性,并說(shuō)明了在無(wú)人機(jī)場(chǎng)景中準(zhǔn)確估計(jì)周圍無(wú)人機(jī)距離的難點(diǎn)。存在的方法主要依賴于密集視差預(yù)測(cè),但在無(wú)人機(jī)場(chǎng)景中存在數(shù)據(jù)注釋困難和計(jì)算資源有限的問(wèn)題。為了解決這些問(wèn)題,本文構(gòu)建了UAVDE數(shù)據(jù)集,并提出了一種新的位置校正模塊(PCM)和動(dòng)態(tài)迭代校正(DIC)機(jī)制。在UAVDE數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,所提出的方法在無(wú)人機(jī)距離估計(jì)中具有有效性和優(yōu)越性。
作者的主要貢獻(xiàn)有:
形式化了無(wú)人機(jī)距離估計(jì)任務(wù)并提出了UAVDE數(shù)據(jù)集。
發(fā)現(xiàn)位置偏差問(wèn)題是損害無(wú)人機(jī)距離估計(jì)性能的主要挑戰(zhàn)。
提出了一種名為位置校正模塊(PCM)和動(dòng)態(tài)迭代校正(DIC)機(jī)制的新修正方法,以準(zhǔn)確預(yù)測(cè)圖像和真實(shí)位置之間的偏移,并用于立體三角測(cè)量的計(jì)算補(bǔ)償。
在UAVDE數(shù)據(jù)集上對(duì)所提出的方法進(jìn)行了實(shí)驗(yàn)評(píng)估,結(jié)果證明了作者方法的有效性和優(yōu)越性。
2 相關(guān)工作
本文回顧了與作者的工作相關(guān)的經(jīng)典和基于學(xué)習(xí)的立體距離估計(jì)的文獻(xiàn)。經(jīng)典的立體匹配算法通常包括匹配代價(jià)計(jì)算、代價(jià)聚合、優(yōu)化和視差細(xì)化四個(gè)步驟,利用不同的像素表示和后處理技術(shù)可以在相對(duì)簡(jiǎn)單的場(chǎng)景中取得良好的效果。然而,在復(fù)雜的無(wú)人機(jī)場(chǎng)景中,現(xiàn)有方法通常受到遮擋、光照變化和無(wú)特征區(qū)域等環(huán)境干擾的影響。為了應(yīng)對(duì)這些問(wèn)題,近年來(lái)的研究者開(kāi)始利用深度學(xué)習(xí)技術(shù)來(lái)提取像素級(jí)特征并進(jìn)行匹配。學(xué)習(xí)到的表示在低紋理區(qū)域和各種光照下表現(xiàn)出更強(qiáng)的魯棒性。有些方法還試圖在代價(jià)聚合過(guò)程中結(jié)合語(yǔ)義線索和上下文信息,取得了積極的結(jié)果。然而,基于學(xué)習(xí)的方法需要依賴以激光雷達(dá)密集注釋的高質(zhì)量訓(xùn)練數(shù)據(jù),在無(wú)人機(jī)場(chǎng)景中很難獲得這種關(guān)鍵的密集注釋數(shù)據(jù)。因此,本文提出了一種新的數(shù)據(jù)集,用于無(wú)人機(jī)距離估計(jì),該數(shù)據(jù)集利用UWB傳感器獲取距離,并發(fā)現(xiàn)了無(wú)人機(jī)距離估計(jì)中的關(guān)鍵問(wèn)題-位置偏差,并提出了一種新的位置修正方法。
3 UAVDE數(shù)據(jù)集
本文介紹了一個(gè)名為UAV Distance Estimation (UAVDE)的新穎無(wú)人機(jī)距離估計(jì)數(shù)據(jù)集。數(shù)據(jù)集使用一架AMOV P600記錄型無(wú)人機(jī)和一架DJI M200目標(biāo)無(wú)人機(jī)進(jìn)行立體圖像采集。采集了包括建筑背景、森林、運(yùn)動(dòng)場(chǎng)和籃球場(chǎng)等典型場(chǎng)景的3895個(gè)立體圖像,并劃分為訓(xùn)練、驗(yàn)證和評(píng)估三個(gè)子集。為了適應(yīng)未見(jiàn)場(chǎng)景并解決模型過(guò)擬合問(wèn)題,訓(xùn)練子集與其他子集包含的場(chǎng)景不同。數(shù)據(jù)集的注釋過(guò)程中,通過(guò)UWB定位技術(shù)測(cè)量了目標(biāo)無(wú)人機(jī)中心位置的距離,并手動(dòng)標(biāo)注了無(wú)人機(jī)邊界框以用于無(wú)人機(jī)檢測(cè)器的訓(xùn)練。
4 方法
4.1. Position Correction Module - 位置校正模塊
本文主要解決了位置偏移問(wèn)題,并提出了一種新穎的位置校正模塊 (PCM)。根據(jù)分析,作者使用4元組{θ、r、w、h}來(lái)預(yù)測(cè)位置偏移,其中θ和r表示相對(duì)角度和到圖像中心的半徑,w和h表示檢測(cè)到的無(wú)人機(jī)邊界框的大小。通過(guò)一個(gè)簡(jiǎn)單的多層感知機(jī) (MLP) 進(jìn)行預(yù)測(cè),得到校正量。在訓(xùn)練過(guò)程中,采用了L2損失函數(shù)來(lái)優(yōu)化校正后的距離與真實(shí)距離之間的差異。PCM的訓(xùn)練與無(wú)人機(jī)檢測(cè)器的訓(xùn)練是相互獨(dú)立的,在推斷過(guò)程中,PCM只需附加到無(wú)人機(jī)檢測(cè)器的末尾進(jìn)行位置校正。
4.2. Dynamic Iterative Correction - 動(dòng)態(tài)迭代校正
本文針對(duì)無(wú)法完全校正的難樣本,提出了一種動(dòng)態(tài)迭代校正方法。通過(guò)堆疊多個(gè)位置校正模塊(PCM)來(lái)連續(xù)進(jìn)行迭代校正。為了確定是否需要進(jìn)一步校正,本文設(shè)計(jì)了一個(gè)門控機(jī)制,根據(jù)數(shù)據(jù)樣本的難度自適應(yīng)調(diào)整校正過(guò)程。在訓(xùn)練過(guò)程中,使用絕對(duì)相對(duì)差異(Abs Rel)作為測(cè)量指標(biāo)來(lái)確定難樣本,并使用交叉熵?fù)p失函數(shù)對(duì)門控模塊的輸出進(jìn)行優(yōu)化。通過(guò)多個(gè)PCM和門控模塊的指令,可以在推斷過(guò)程中順序執(zhí)行多個(gè)PCM,實(shí)現(xiàn)動(dòng)態(tài)迭代校正。
5 實(shí)驗(yàn)
5.1. 數(shù)據(jù)集
本實(shí)驗(yàn)中,作者構(gòu)建了UAVDE數(shù)據(jù)集,該數(shù)據(jù)集旨在幫助研究無(wú)人機(jī)場(chǎng)景中的距離估計(jì)。數(shù)據(jù)集包含2815個(gè)訓(xùn)練樣本、541個(gè)驗(yàn)證樣本和539個(gè)評(píng)估樣本,分辨率為1280×720。每個(gè)樣本都有距離注釋以及左右圖像中的無(wú)人機(jī)邊界框注釋。作者使用驗(yàn)證子集來(lái)進(jìn)行超參數(shù)和模型選擇。為了評(píng)估距離估計(jì)的性能,作者采用了兩個(gè)常用的評(píng)估指標(biāo):AbsRel和SqRel。其中,AbsRel表示絕對(duì)相對(duì)誤差,SqRel表示平方相對(duì)誤差。這些評(píng)估指標(biāo)可以通過(guò)計(jì)算距離估計(jì)值與真實(shí)距離之間的差異來(lái)評(píng)估算法的準(zhǔn)確性。
5.2. 實(shí)驗(yàn)細(xì)節(jié)
在本實(shí)現(xiàn)中,作者選擇了YOLOX-Nano作為無(wú)人機(jī)檢測(cè)器,因?yàn)樗谛阅芎陀?jì)算效率之間達(dá)到了良好的平衡。作者先在UAVDE數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后固定檢測(cè)器,用于生成訓(xùn)練所需的位置矯正機(jī)制。為了實(shí)現(xiàn)位置矯正機(jī)制和門控模塊,作者采用了相同的多層感知器MLP-Mixer。通過(guò)利用MLP-Mixer的混合機(jī)制,作者可以捕捉生成的位置矯正機(jī)制中的內(nèi)部關(guān)系,并預(yù)測(cè)位置偏移。為了提高計(jì)算效率,作者將原始的8層MLP-Mixer變體減少到2層,并避免了過(guò)擬合問(wèn)題。在訓(xùn)練過(guò)程中,采用SGD優(yōu)化器,并配合梯度裁剪、余弦學(xué)習(xí)率調(diào)度和線性預(yù)熱等策略。通過(guò)在驗(yàn)證子集上進(jìn)行驗(yàn)證,確定了閾值T和λ的取值,使得在困難樣本上能夠獲得明顯的改進(jìn)。
5.3. 性能比較
在本實(shí)驗(yàn)中,為了展示作者提出的方法的優(yōu)越性,作者與兩種經(jīng)典方法進(jìn)行了比較。根據(jù)比較結(jié)果,作者觀察到經(jīng)典方法在無(wú)人機(jī)場(chǎng)景中表現(xiàn)不佳,受到位置偏移和環(huán)境干擾的影響。相比之下,基線方法展現(xiàn)出更好的性能,但仍然受到位置偏移問(wèn)題的困擾。注釋的邊界框在性能上只有輕微的改善,無(wú)法解決位置偏移問(wèn)題。與其他方法相比,作者的方法能夠通過(guò)補(bǔ)償位置偏移帶來(lái)顯著的性能提升,達(dá)到38.84%的改進(jìn)效果,這證明了作者方法的優(yōu)越性和有效性。
5.4. 消融實(shí)驗(yàn)
本文通過(guò)進(jìn)行消融實(shí)驗(yàn)來(lái)驗(yàn)證作者提出的方法的有效性。實(shí)驗(yàn)結(jié)果表明,通過(guò)引入PCM組件可以顯著改善距離估計(jì)精度,特別是解決位置偏差問(wèn)題。同時(shí),DIC組件在對(duì)困難樣本進(jìn)行多次修正后,可以進(jìn)一步提升性能。對(duì)于修正階段數(shù)量的選擇,進(jìn)行兩次修正可以帶來(lái)明顯的改進(jìn),進(jìn)一步的修正效果不明顯。閾值T的選擇不同范圍對(duì)方法的改進(jìn)均有一定影響,表明方法對(duì)T值的選擇具有魯棒性。此外,通過(guò)資源消耗分析,作者發(fā)現(xiàn)我們提出的PCM和門控模塊在計(jì)算成本上幾乎可以忽略不計(jì),有助于輕量級(jí)設(shè)計(jì)。針對(duì)困難樣本,作者提出的DIC機(jī)制可以進(jìn)一步改善估計(jì)性能,特別是對(duì)于距離較遠(yuǎn)的樣本。最后,通過(guò)可視化分析,作者展示了我們的方法在易樣本和難樣本上的修正效果,證明了其有效性。
6 總結(jié)
在本文中,作者專注于無(wú)人機(jī)距離估計(jì)問(wèn)題,這在實(shí)際中非常重要但卻很少被研究。為了幫助研究,作者建立了一個(gè)新穎的無(wú)人機(jī)距離估計(jì)數(shù)據(jù)集,令人驚訝的是作者發(fā)現(xiàn)常用的立體三角化范式在無(wú)人機(jī)場(chǎng)景中不起作用。主要原因是圖像畸變現(xiàn)象和立體三角化中的內(nèi)部幾何模糊導(dǎo)致的位置偏移問(wèn)題,在無(wú)人機(jī)場(chǎng)景中很常見(jiàn)。為了解決這個(gè)問(wèn)題,作者提出了一個(gè)新穎的位置校正模塊(PCM),來(lái)明確預(yù)測(cè)圖像和目標(biāo)無(wú)人機(jī)實(shí)際位置之間的偏移量。此外,作者設(shè)計(jì)了一個(gè)動(dòng)態(tài)迭代校正(DIC)機(jī)制,進(jìn)一步改善對(duì)難樣本的校正效果。大量實(shí)驗(yàn)證實(shí)了作者方法的有效性和優(yōu)越性。
責(zé)任編輯:彭菁
-
傳感器
+關(guān)注
關(guān)注
2545文章
50445瀏覽量
751046 -
PCM
+關(guān)注
關(guān)注
1文章
195瀏覽量
53106 -
無(wú)人機(jī)
+關(guān)注
關(guān)注
226文章
10301瀏覽量
179129 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1200瀏覽量
24619
原文標(biāo)題:IEEE 2023 I 立體三角測(cè)量為什么在無(wú)人機(jī)距離估計(jì)中不起作用?
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論