點(diǎn)云數(shù)據(jù)的方位角歸一化方法

摘要：點(diǎn)云感知算法是安全魯棒的自動(dòng)駕駛系統(tǒng)中尤為重要的一環(huán)。在CVPR 2022上，地平線-華中科技大學(xué)計(jì)算機(jī)視覺聯(lián)合實(shí)驗(yàn)室發(fā)表了研究成果Azimuth Normalization——以點(diǎn)云特有的徑向?qū)ΨQ性作為先驗(yàn)，對數(shù)據(jù)歸一化，降低從點(diǎn)云中獲取信息的難度。該歸一化方法能與大多數(shù)感知算法結(jié)合，降低對訓(xùn)練數(shù)據(jù)的需求并提升性能上限，在三維場景感知中有著廣泛的應(yīng)用價(jià)值。

簡介

從機(jī)器學(xué)習(xí)的角度考慮，數(shù)據(jù)中隱含的對稱性能夠作為算法的歸納偏置(inductive bias)，對于提升算法精度有很大的幫助。點(diǎn)云是三維場景理解中最重要的表示形式，本工作討論了點(diǎn)云數(shù)據(jù)特有的徑向?qū)ΨQ性(Radial Symmetry)，并提出了針對點(diǎn)云數(shù)據(jù)的方位角歸一化方法(Azimuth Normalization / AziNorm)。Azimuth Normalization采用了一種分而治之(Divide-and-conquer)的策略，靈活地分解全場景點(diǎn)云并在子點(diǎn)云上進(jìn)行歸一化。歸一化后的子點(diǎn)云具有更簡單的模式(pattern)，更容易被下游的感知算法識別。Azimuth Normalization具有很強(qiáng)的拓展性，能夠應(yīng)用在多種傳感器產(chǎn)生的點(diǎn)云數(shù)據(jù)上(如LiDAR、RADAR、RGB-D camera)，能夠與各類感知算法(如檢測、分割)結(jié)合并且不需要改變具體算法的實(shí)現(xiàn)細(xì)節(jié)和超參數(shù)。Azimuth Normalization能夠顯著提升感知算法的數(shù)據(jù)效率(Data Efficiency)，收斂速度和性能上限，如圖1所示，AziNorm與SECOND [1] 檢測算法結(jié)合提升明顯，僅用10%的數(shù)據(jù)量或迭代次數(shù)就優(yōu)于充分訓(xùn)練的SECOND。

圖1 數(shù)據(jù)效率、收斂速度和性能上限

徑向?qū)ΨQ性

徑向?qū)ΨQ性與產(chǎn)生點(diǎn)云數(shù)據(jù)的傳感器(LiDAR / RADAR /RGB-D camera)的工作原理高度相關(guān)。以LiDAR為例，如圖2，LiDAR始終沿著徑向(法向)方向向各個(gè)方位角發(fā)射電磁波，電磁波觸碰到障礙物表面后反射，沿著徑向方向反射的回波最終被LiDAR接收，形成點(diǎn)云。因此，產(chǎn)生的點(diǎn)云在徑向方向上具有明顯的對稱性(如圖2中，地面的點(diǎn)云對稱性明顯)。

圖2 徑向?qū)ΨQ性(Radial Symmetry)

算法流程

Azimuth Normalization采用了分治的策略，具體流程如下(流程圖見圖3)：

Patch Splitting：把整個(gè)感知范圍拆分為相互重疊的塊(patch)， 把全場景的點(diǎn)云規(guī)則地分解為子點(diǎn)云;

Patch Filtering：濾除不包含點(diǎn)云的patch、只含地面點(diǎn)的patch(點(diǎn)云具有稀疏性、不均勻性)，避免不必要的計(jì)算開銷;

Normalization：對子點(diǎn)云進(jìn)行平移變換、旋轉(zhuǎn)變換(對每個(gè)點(diǎn)的3D坐標(biāo)進(jìn)行)，統(tǒng)一各個(gè)patch的徑向方向;

Patch-wise Perception：在patch level調(diào)用現(xiàn)成的感知算法(point-based、voxel-based、hybrid)，不需要改變實(shí)現(xiàn)細(xì)節(jié)和超參數(shù);

Inverse Normalization：把感知結(jié)果逆變換回原本的LiDAR坐標(biāo)系;

Patch Merging：融合各個(gè)patch結(jié)果，對于不同的感知任務(wù)可以采用不同的融合策略，例如，對于檢測采用非極大值抑制(NMS)，對于分割采用逐點(diǎn)平均。

圖3 算法流程

實(shí)驗(yàn)結(jié)果

1. 點(diǎn)云檢測和點(diǎn)云分割表1和表2是Azimuth Normalization在點(diǎn)云檢測和分割兩個(gè)感知任務(wù)上的實(shí)驗(yàn)結(jié)果。值得注意的是，對于檢測難度大的類別(點(diǎn)稀疏、訓(xùn)練樣本數(shù)量少)，如pedestrian和cyclist，Azimuth Normalization能夠帶來更明顯的增益。Azimuth Normalization極大地簡化點(diǎn)云數(shù)據(jù)中的模式(pattern)，消除方位角帶來的差異，在歸一化后，難類別檢測難度顯著降低。

表1 點(diǎn)云檢測算法SECOND [1] 和PV-RCNN [2] 在Waymo val set上的實(shí)驗(yàn)結(jié)果

表2 點(diǎn)云分割算法KPConv [3] 在SemanticKitti val set和test set上的實(shí)驗(yàn)結(jié)果

2. 歸一化粒度(Normalization Granularity)圖4展示了另一種分治策略，被稱之為扇形區(qū)域歸一化(Sectorial Normalization)。點(diǎn)云被均勻劃分為扇形區(qū)域，并通過旋轉(zhuǎn)統(tǒng)一徑向方向。表3對比了Sectorial Normalization和Azimuth Normalization。4- 和8- Sectorial Normalization 把方位角的變化范圍分別縮小到了90o和45o，而Azimuth Normalization的歸一化粒度更小，因此性能提升更明顯。

圖4 扇形區(qū)域歸一化(Sectorial Normalization)

表3 歸一化粒度 (Normalization Granularity)

3. 消融實(shí)驗(yàn)表4是相關(guān)的消融實(shí)驗(yàn)，驗(yàn)證了Azimuth Normalization的性能提升主要來自于旋轉(zhuǎn)變換，即對徑向方向的歸一化，以及Azimuth Normalization對patch的形狀layout、尺寸radius、間距stride的選擇不敏感。

表4 消融實(shí)驗(yàn)

總結(jié)

Azimuth Normalization利用徑向?qū)ΨQ性對點(diǎn)云數(shù)據(jù)進(jìn)行歸一化，帶來在數(shù)據(jù)效率、收斂速度、性能上限三個(gè)方面的提升，能夠減少感知算法對于數(shù)據(jù)量的需求，降低標(biāo)注成本，并且在對感知精度要求高的離線應(yīng)用場景中有較大的應(yīng)用價(jià)值，如自動(dòng)標(biāo)注(Auto Labeling)和生成高精地圖(HD Maps)。

原文標(biāo)題：CVPR 2022 | 基于徑向?qū)ΨQ性和分治策略的點(diǎn)云方位角歸一化

文章出處：【微信公眾號：地平線HorizonRobotics】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅