研究人員們提出了一系列新的點云處理模塊

點云是三維深度學(xué)習(xí)中一種重要的數(shù)據(jù)類型，研究人員們一直致力于高效準(zhǔn)確的處理點云，并基于點云實現(xiàn)分類、檢測和分割等一系列高級計算機視覺任務(wù)。自從PointNet以來，研究人員們提出了眾多基于PointNet的模型和模型變體，極大的拓展了計算機視覺對于三維點云數(shù)據(jù)的處理能力。

但是由于點云的表示和處理方法對于計算資源的消耗使得網(wǎng)絡(luò)模型無法加深，同時全局與局部的信息缺乏多層級地交互也限制了模型的表達能力。

為了探索這些問題的解決辦法、來自倫敦大學(xué)學(xué)院的研究人員們提出了一系列新的點云處理模塊，從效率、信息共享和點云卷積操作等方面進行了研究，得到了更寬、更深、更快效率更高的點云處理網(wǎng)絡(luò)，讓更深的點云深度學(xué)習(xí)模型成為可能。

與圖像領(lǐng)域的深度學(xué)習(xí)架構(gòu)相比，針對點云的處理手段還比較簡單。無論是模塊的多樣性和網(wǎng)絡(luò)的寬度與深度上，點云網(wǎng)絡(luò)的架構(gòu)都還有很大的發(fā)展空間。例如PointNet和PointNet++這樣的模型架構(gòu)隨讓證明了神經(jīng)網(wǎng)絡(luò)的有效性，但是對于計算資源的巨大消耗成為了制約這類架構(gòu)發(fā)展的限制。

網(wǎng)絡(luò)內(nèi)部的每一個節(jié)點都需要攜帶所有鄰域的特征使得存儲資源消耗過大，過深的網(wǎng)絡(luò)無法高效的實現(xiàn)。而在圖像領(lǐng)域的發(fā)展經(jīng)驗表明，更深更寬的網(wǎng)絡(luò)與模型的精度有著直接的聯(lián)系。研究人員在這一工作中通過引入三方面的新結(jié)構(gòu)來改善點云處理網(wǎng)絡(luò)的精度、降低計算資源的消耗，同時提升了推理階段的運行速度。

多分辨率

研究人員引入了多分辨率用于在多個不同的尺度上處理多尺度網(wǎng)絡(luò)結(jié)構(gòu)，大幅度降低了內(nèi)存占用。在PointNet++中利用不斷增加的聚類半徑來對原始點云處理多尺度信息。而在這篇文章中，研究人員直接在網(wǎng)絡(luò)早期的處理階段使用了多個不同的聚類半徑來處理，使得模型可以混合多個尺度的信息，理解多尺度上下文內(nèi)容并減少計算資源的消耗。

研究人員使用了以下采樣的方法來對原始點云進行處理，而后進行分組實現(xiàn)了不同尺度的處理。下圖顯示了多分辨率的處理方式不僅增加了某個點的領(lǐng)域感受野，同時不增加內(nèi)存占用，更好的捕獲全局的內(nèi)容信息。

圖中紅色的點表示綠色點增加的感受野

點卷積模塊

為了更加高效的獲取鄰域信息，研究人員將圖像鄰域信息的卷積概念延伸到了點云領(lǐng)域，提出了點卷積概念，在訓(xùn)練過程中更有效地混合鄰域信息。相較于PointNet++減小了67%的內(nèi)存占用，實現(xiàn)了41%的速度提升。其中的關(guān)鍵在于針對分組操作在前向傳播的過程中將中間結(jié)果及時釋放，利用單層神經(jīng)網(wǎng)絡(luò)大大加速了處理過程。

上面的算法顯示了前向和反向傳播的過程，在內(nèi)存占用和速度上同時進行了優(yōu)化。

卷積計算單元對于內(nèi)存占用的大幅下降使得更深的網(wǎng)絡(luò)成為可能。與先前的工作相比，這種結(jié)構(gòu)的網(wǎng)絡(luò)在深度增加時對計算資源需求增加地更為緩慢。

新的模型不僅在降低了初始化地內(nèi)存需求，當(dāng)層數(shù)增加時內(nèi)存的增加也較為緩慢。深度翻倍時模型地高分辨和低分辨部分地僅僅增加了16.8%和2.3%。

優(yōu)化信息流

為了綜合各個尺度下的信息實現(xiàn)更有效的點云感知，研究人員對模型進行了更深入的分析和改進。首先為了保證在模型加深時網(wǎng)絡(luò)的穩(wěn)定性，研究人員在模型中添加了殘差結(jié)構(gòu)，在提高訓(xùn)練效果的同時避免了梯度消失的問題。

為了更好地利用多分辨率的信息，研究人員利用了交叉分辨率鏈接來為不同分辨率下的分支提供了信息溝通的渠道，使得高、中、低各個分辨率的信息得以有效在訓(xùn)練過程中交換，每個分辨率在專注于學(xué)習(xí)自身尺度信息的同時與其他分辨率進行信息交換，更有效地提升了訓(xùn)練和速度和推理地精度。

最終利用鄰域卷積、多分辨率交叉互聯(lián)和多分辨率點云處理等基礎(chǔ)模塊構(gòu)建出了可堆疊的深度卷積點云網(wǎng)絡(luò)。

研究人員在ShapeNet-Part，ScanNet，PartNet等數(shù)據(jù)集上對算法進行了驗證，并利用平均IOU和部分IOU等指標(biāo)評測了算法對于點云目標(biāo)分割的表現(xiàn)。研究發(fā)現(xiàn)新提出的卷積點云處理結(jié)構(gòu)對于更為復(fù)雜的數(shù)據(jù)表現(xiàn)更為優(yōu)秀。

首先多分辨率結(jié)構(gòu)為模型提供了不同尺度上的信息理解，對于不同分辨率的信息混合可以增加對于復(fù)雜數(shù)據(jù)的感知，更為關(guān)鍵的是在模型同時還在效率上實現(xiàn)了提升。在反向傳播階段時間減少了62%。

其次，交叉連接部分可以看作是不同分辨率間的信息互補，在很小的內(nèi)存開銷和速度延遲下，能在最復(fù)雜的PartNet數(shù)據(jù)集上實現(xiàn)更好的分割精度。

最后，內(nèi)存高效的卷積利用單層感知機實現(xiàn)點云特征提取移除了中間層的激活，并利用多個相同單元進行堆疊，不僅提升了2.6~3%的IOU提升，更減小了67%的內(nèi)存占用和41~68%的時間消耗。

最重要的，由于新的網(wǎng)絡(luò)模塊對于內(nèi)存的消耗減少，使得更深的點云處理網(wǎng)絡(luò)成為可能，通過殘差結(jié)構(gòu)和交叉互聯(lián)保證了深度網(wǎng)絡(luò)的穩(wěn)定性和信息的流動過程。

下圖展示了模型與PointNet++比較的一些結(jié)果，可以看到深度卷積點云網(wǎng)絡(luò)在分割任務(wù)中的的誤差更?。?/p>

基于本文提出模塊重新構(gòu)建的網(wǎng)絡(luò)模型在IOU和計算資源利用率上均有大幅度提升：