如何實(shí)現(xiàn)高精度的3D感知

端到端自動(dòng)駕駛是自動(dòng)駕駛技術(shù)的重要發(fā)展方向之一。而要實(shí)現(xiàn)端到端自動(dòng)駕駛，離不開高精度3D信息輸入，因此如何實(shí)現(xiàn)高精度的3D感知尤為關(guān)鍵。

從3D感知的實(shí)現(xiàn)技術(shù)路徑來(lái)看，主要包括稠密算法和稀疏算法兩個(gè)范疇。

在稠密算法范疇，主要通過點(diǎn)云轉(zhuǎn)換、多視圖立體視覺等方法，來(lái)獲取場(chǎng)景中每一個(gè)點(diǎn)的深度信息，從而更準(zhǔn)確地描述場(chǎng)景中的物體。其中最具代表性的就是近兩年非常火熱的BEV感知，其多傳感器數(shù)據(jù)從圖像空間到BEV空間的轉(zhuǎn)換過程，就是典型的稠密特征到稠密特征的重新排列組合過程。目前，BEV已在業(yè)界得到廣泛關(guān)注以及應(yīng)用部署。

稠密算法也面臨著一些挑戰(zhàn)，比如巨大的數(shù)據(jù)量，需要高效的數(shù)據(jù)處理和存儲(chǔ)方法來(lái)提高計(jì)算效率，減少內(nèi)存占用。此外，考慮到多傳感器數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，需要高效的計(jì)算方法和計(jì)算平臺(tái)來(lái)提升處理速度，并滿足實(shí)時(shí)性要求。而在大多數(shù)實(shí)際應(yīng)用場(chǎng)景中，自動(dòng)駕駛系統(tǒng)需要計(jì)算的目標(biāo)在空間中通常呈稀疏狀態(tài)分布，這也就意味著在稠密算法范疇中，大量的計(jì)算是被浪費(fèi)了的。

稀疏感知算法通過減少Q(mào)uery數(shù)量以及降低特征交互量來(lái)加快計(jì)算速度并降低存儲(chǔ)需求，大大提高感知模型的計(jì)算效率和系統(tǒng)性能?；谙∈杷惴ǖ母兄桨冈?D到3D的轉(zhuǎn)換效率和長(zhǎng)距離感知方面具有一定優(yōu)勢(shì)，也是目前業(yè)界正在積極探索的方向。

近期，地平線發(fā)表了關(guān)于稀疏感知方案的系列工作：Sparse4D v1 & v2，從Query構(gòu)建方式、特征采樣方式、特征融合方式、時(shí)序融合方式等多個(gè)方面提升模型感知效果。Sparse4D在nuScenes檢測(cè)任務(wù)上達(dá)到了SOTA的效果，超過了VideoBEV、SOLOFusion和StreamPETR等算法的指標(biāo)。

為了讓大家進(jìn)一步了解Sparse4D，10月18日19點(diǎn)，地平線聯(lián)合智猩猩策劃推出新一期地平線「你好，開發(fā)者」自動(dòng)駕駛技術(shù)專場(chǎng)，主題為《面向端到端自動(dòng)駕駛的稀疏感知通用架構(gòu)探索》，由地平線感知算法工程師林天威主講。

林天威首先會(huì)介紹3D感知的研究背景和發(fā)展現(xiàn)狀，并對(duì)稀疏通用感知架構(gòu)進(jìn)行解析。之后，林天威將重點(diǎn)介紹和講解長(zhǎng)時(shí)序稀疏化3D目標(biāo)檢測(cè)算法Sparse4D v1 & v2相關(guān)工作。最后他會(huì)分享稀疏感知新范式的未來(lái)探索方向。

審核編輯：彭菁